習近平在擔任耿飈秘書3年後，於1982年離職並轉任河北省石家莊市正定縣委書記。離職原因為何有兩種說法：網路上流傳較廣的說法，是耿飈接受外媒訪問時，針對「香港回歸後解放軍是否駐港」提問，未獲鄧小平授權，即擅作主張回應：「不會派解放軍駐港」，因而被迫辭去國防部長，習近平也跟著失業。然經查此事件發生在1984年，當時習近平已離職2年，不足採信。
另一種說法，是同樣擔任過耿飈秘書、並著有《耿飈傳》的孔祥琇在書中提及：當時鄧小平有意推動裁軍，耿飈做為國防部長，是第一線實際執行者，為以身作則，只能先裁撤自己身邊人員。
後一種說法看似較合理，然而實際上，即使當時沒有推動裁軍，習近平也很可能主動離職：習近平當時是3名秘書中唯一非職業軍人出身者，明顯是將此職位視為另謀更高發展的「跳板」。畢竟習仲勳本身在政壇已有相當威望，安排習近平擔任耿飈秘書的目的，並非冀望耿飈對習近平有所提拔，而是存在更深層的用心-增加習近平對國防組織、人事、職掌的了解，及建立與軍方的關聯性。
總之，習近平做為「太子黨」中少數有過軍事經驗的從政者，日後不僅獲得軍方頒發的「全國百名擁軍優屬模範」，主政地方後也特別重視與軍方打交道，被軍方稱為「將門虎子」、「擁軍書記」。具備軍事工作經驗，絕對是習近平得以從競爭者中脫穎而出的獨特優勢。
習近平推動軍改、攏絡軍隊人心
正因與軍方淵源深厚，習近平擔任總書記後，完全沒有江澤民、胡錦濤上任初期難以指揮軍隊的窘境。
江澤民於1989年6月擔任總書記後，雖很快在同年11月接任軍委會主席，但一直無法有效掌握軍隊。當時的軍政大權，主要掌握在軍委會副主委楊尚昆（同時擔任國家主席）、秘書長楊白冰兄弟手中，他們多次在未知會江澤民情況下召開中央軍委會議。江澤民為掌握實權，對外散播「楊尚昆試圖為六四事件平反」謠言，極力爭取鄧小平、陳雲等元老支持，才迫使楊氏兄弟於1992年10月中共14大後退出軍委會，史稱「楊家將事件」。
胡錦濤時期發生軍隊拒絕配合救災支援事件，同樣也透露其對於軍隊指揮的無力：2008年四川汶川發生大地震，國務院總理溫家寶趕往勘災並下令軍隊打通前往汶川的道路，然而軍隊行動緩慢，溫家寶氣得對電話大吼：「我不管你們怎麼樣，我只要這10萬群眾脫險，這是命令。」
但軍方仍以天候不佳為由按兵不動，軍委會副主席郭伯雄甚至直接表態：「我們只聽老領導（指江澤民）的。」直到總書記兼軍委會主席胡錦濤親自前往災區後，軍方才聽從調度。由此可見，當時已擔任總書記6年、軍委會主席4年的胡錦濤，面對軍隊時權威仍有所不足。
