太平軍的起兵如破竹，擊敗了八旗軍和清廷賴以生存的綠營。1852年4月，太平軍衝破清兵的圍困，從廣西啟程，轉入湖南，接近長沙。見太平軍已成燎原之勢，咸豐帝再也坐不住了。他使用了自己祖父嘉慶時代討平白蓮教的舊方法。他派自己的大臣到各地展開團練，抵抗太平軍的攻打。團練是一個地區組織的民兵組織，不是咸豐帝第一個制定的，而是一個長期存在的團體。早在唐代，各地就產生了保障地區安全性的團練。嘉慶年間，白蓮教在全國各地爆發，八旗軍和綠營難以抵抗。清廷在全國區域之內組織團訓，最終討平了白蓮教教眾。

然而，團練並不是嚴苛含義之上的部隊。它的團員源自每個鄉鎮的壯丁，所需的經費在當地分派。這個軍隊總是由當地有名望的人掌控。小組培訓欠缺常規嚴苛的軍事訓練，戰力一般。團練培訓的最大目的是捍衛鄉村安全，展開這領域的軍事活動。雖然各地有很多團練培訓，但很不容易產生凝聚力。團練培訓沒有統一的領導者，所以當時團練的教官不能像訓練部隊那樣制訂戰略戰術目的。

團練也許能抵抗一般的強盜，也能像江忠源的楚勇那樣在配合清兵領域起到一定的作用。然而，團練並不是軍隊，其作用相當一般，特別是面臨太平軍這樣一支團體性、有軍紀、有系統性、數量巨大的軍隊。曾國藩的湘軍就有所不同了。曾國藩很早就看見了團練的極大弊病。他說：這幾年，沒有合理培訓的軍隊很多，很多所謂的團練並沒有起到練兵的作用。因此，從一開始，曾國藩就沒把湘軍變為傳統的團練，而是往打造正規軍隊的模式走。

曾國藩在湖南湘鄉等地方招募了一批主要軍官，組成營官。然後該營徵募官兵。團練出身計程車兵構湘軍。湘軍效仿明代戚繼光的軍營體制規劃，展開了一年多的嚴苛培訓。曾國藩為湘軍奠定了治軍的軍紀和尊嚴，也確認了湘軍進行曲和軍禮。

曾國藩願花錢買洋槍，他還派人到廣東購買西方槍支，修建自己的軍械廠，成立了一支近代化的水軍隊伍。多年以後，便是這支水軍士兵掌控了太平天國都城天京的上游，卡死了太平軍的物資通道，最終擊敗太平天國。

曾國藩透過嚴苛的軍紀和老師、學生、家人間複雜的聯絡，把湘軍從上到下牢牢掌控在自己手中，產生了統一指揮，自然展現了最大的活性。團練大臣的權力是渺小的，但曾國藩的權力是極大的。咸豐皇帝委任的團練大臣是一個臨時職務，沒職位，權力也不大，嚴重侷限於地區官員的監管。在大多數情形之下，他們只幫助當地負責人展開軍隊訓練。如果他們過於飛揚跋扈，會引發地區主管部門的強烈不滿，在處置團練任務時會碰到很大的困難，甚至一事無成。

湖南團練一開始，曾國藩也面對著這樣的艱難。在湖南作戰之中，胡林翼等地方官員和曾國藩關係不錯，湖北、湖南都對曾國藩提供了很大的協助。然而，曾國藩征討江西時，江西的地區官員卻沒有再給他如何幫助。一些縣和州的地區官員勇於質疑他當作帝國欽差大臣的身份。這讓曾國藩頭痛，決意獲得到一個實際的職位。

幸好由於八旗軍和綠營在湖南江西的節節敗退，湘軍和太平軍作戰的成績還算不俗。清廷不得不靠曾國藩的湘軍軍當作最終王牌，於是曾國藩被委任為兩江總督和欽差大臣，並不斷擴大自己的派系。

湘軍的訓練和教育也各不相同。曾國藩相信“勤勉是治軍的第一要務”。曾國藩主張湘軍訓練的勤奮，因此制訂了許多訓練守則。曾國藩制訂了很多培訓守則，要求湘軍天天培訓。為此，他制訂了點名、演練、戰牆、執勤等軍事守則，並要求湘軍嚴格執行。曾國藩還將儒學基礎教育列入湘軍基礎教育體制。他制訂了大量的營規，把湘軍的軍紀與封建禮教混為一談，企圖透過觀念基礎教育來教育湘軍。從湘軍的體制來看，湘軍的軍事觀念和體制還處在中國古典時代，同時與西方成員國的軍事訓練方式還存在較大相差。