当时的正规军绿营兵不能作战，这是尽人皆知的。因此，曾国藩下决心破除旧军队陋习，改弦更张，创建一支诸将一心，万众一气的新型军队来。在咸丰二年降旨命曾国藩办团练时，各省先后都办团练，惟独湖南一省最为成功，这不能不说是曾国藩的个人意志和方法起了很大的作用。
曾国藩练兵，从咸丰二年（1852）十二月起，至咸丰四年（1854）正月止，历时一年余。他的湘军，特别与众不同。
首先，湘军是书生和农夫的结合体。它的将，大多是书生。书生能带兵打仗，不由人不怀疑。书生长期受孔孟思想熏陶，存廉耻，重气节，能誓死卫道，这是曾国藩选书生为将的着眼点。他选将的条件是：一是才能治民，二是不怕死，三是不计较个人名利，四是能耐受辛苦。而这四点又归结于要有忠义血性，否则，“终不可恃”。湘军的兵卒都是农夫，其募兵制度规定，必须是朴实而有土气的农夫，其油头滑面，有市井气、衙门气的人，概不收用。农夫吃苦耐劳，湘军挖长壕、扎硬寨，不准穿有色衣服，只准着草鞋，种种规定，农夫都容易办到。同时，农夫朴实，没有受过革命精神感召的农夫，容易接受封建思想的灌输，这是曾国藩招农夫入伍的着眼点。就是这些不知战事的书生，带领粗经训练的农夫，战胜了强大的太平天国。这在当时和后来都被人们看成是一个奇迹。
