不能依靠八旗、綠營，而且本來就和八旗、綠營關係疏離，於是受到太平天國威脅時，民間只能組成「團練」來自我防衛。「團練」是自主的民兵，但很快就得到像曾國藩這樣的士人，而不是一般的鄉紳，挺身承擔組織、領導的任務。
文人帶領鄉勇，曾國藩與湘軍的崛起
有像曾國藩這樣的人物投入其中，帶來很大的差別。曾國藩在家書、日記裡反覆強調「綜核名實」的重要性，這是他的思想核心。他最不能接受的就是「名實不符」，占據什麼位子，就必須承擔什麼樣的責任；獲得什麼樣的名聲，就一定要有那樣的功績、成就。
「綜核名實」原則的背後是龐大的道德關懷與道德理念。對曾國藩來說，儒學不是學問，是真切的價值信念。他也相信在道德上堅持做一個好人，必定能產生群體的示範、感召作用，激發出強大的力量。
曾國藩依照這樣的思想、信念去打造一支對抗太平天國的部隊。從進入部隊裡的人，尤其是可以擔任領導的人的素質講究選擇起。他要找的是在倫常行為上抱持正直態度，同時又具備「血性」的人。他特別看重兩種人格特質──「血性」和「憐憫」。「血性」意指真實、不虛偽；「憐憫」則是縮小自我意識與自我利益，將幫助他人解脫苦痛擺在前面。
曾國藩認為非常的危難狀況中，唯有找到這樣的人，才能組織起有效的部隊。從歷史上看， 這是個偶然的因素，有曾國藩這樣的人，挺身承擔組織對抗太平天國的軍事力量。如果不是曾國藩這樣抱持深刻信念的人，不可能和洪秀全及太平天國堅守對峙，更不可能在那麼短的時間內培養出一支由文人帶領鄉勇、卻具備比專業常備兵士軍官更有戰力的部隊。
基於保衛家鄉和傳統信仰的目的，他建立了「湘軍」，之後又擴張為兩支，一支由曾國藩和弟弟曾國荃帶領，另一支則由左宗棠帶領。到了戰爭後期，又有曾國荃協助李鴻章打造的「淮軍」。這些都是地方私人形成的武力。
當時的咸豐皇帝從一開始就默許這些地方私兵的發展。顯然他已經接受八旗和綠營無法打仗的現實。到後來，咸豐皇帝更轉而積極要求湘軍擴張範圍，要湘軍往東進入江西、安徽、浙江、江蘇，讓湘軍而非朝廷的常備軍實質成為對抗太平天國的主力。
「湘軍」的名稱來自湖南團練，但後來他們活躍的地域遠超過湖南一省。早在江南大營還在圍守南京時，咸豐皇帝就授予曾國藩「欽命團練大臣」的頭銜，讓他可以任命「差委」，也就是准許組構自己的軍事班底，不受朝廷員額限制的人事權。被以「差委」形式任命的人，因為是暫時的委命，所以稱為「委員」。「員」指的是中國近世官場最基本的身分，必須是「生員」才能進入這個系統，在「員」的前面加上「委」，表示是為了特別任務而有的「差委」，不是正式的官員。
