在民間，劉基一直以神機妙算、運籌帷幄著稱，所以號稱「活神仙」。當時的人們就經常拿他和諸葛亮相提並論：「以為諸葛孔明儔也。」謀略出眾的劉基，是智慧的象徵，也是朱元璋定鼎中原的重要謀士，朱元璋經常向他討主意。
有一次，朱元璋想要責罰丞相李善長，被劉基勸住。劉基說：「李善長雖有過失，但他能調和眾將。」朱元璋感到非常驚訝：「他幾次想要加害於你，你居然還為他著想？我這次就想改任你為丞相。」劉基連忙推辭：「這怎麼行呢？用丞相就必須用粗壯結實的大木，如用小木，房子就會立即坍塌啊。」
後來，李善長被罷相，朱元璋想任命楊憲為丞相。楊憲長期負責特務工作，平時待劉基很好，沒想到劉基極力反對他出任丞相：「楊憲沒有做丞相的氣量。」朱元璋接著又問：「汪廣洋如何？」劉基答道：「氣量比楊憲更加狹小。」朱元璋接著提名胡惟庸，劉基答道：「做丞相就好像駕車，我擔心他會翻車。」
這也不合適，那也不合適，朱元璋不免面露慍色，忽然說道：「這丞相之位，怕是只有先生你最合適。」沒想到劉基仍是推辭，說道：「我一向嫉惡如仇，又缺少處理繁雜事務的耐心，恐怕也會辜負皇上的重托。天下不是沒有人才，需要的是皇上留心物色。只是這幾個人確實不適合出任丞相啊。」
劉基把帝國比作大廈，用丞相就得用那些粗壯而又結實的木頭，起用得力幹將。只是他自己不願意做這樣的木頭，不知是不是看到了某種凶險。楊憲、汪廣洋、胡惟庸這幾位，後來都在丞相任上獲罪。
劉基不愧為識時務的俊傑，他一直尋機退隱。但他這一番推心置腹的談話，不僅得罪了朱元璋，也得罪了淮右集團，更是徹底得罪了胡惟庸，從而為自己日後的命運埋下了禍根。他想遠離是非之地，卻已走不脫了。
有人不想當，有人搶著當。這個世界上，缺的不是人，而是位子。再危險的崗位，都會有人去填充，何況是丞相這樣的高位。胡惟庸一直費盡心力往上爬，最終爬到了這個位置。沒想到的是，他不僅把自己的小命搭進去，還成了末代丞相。
胡惟庸是定遠人，和李善長是同鄉，所以一直受其提攜。洪武六年（一三七三），他與汪廣洋同任右丞相，但由於汪廣洋被貶廣東，所以胡惟庸可以獨專中書省事務，直至升任左丞相。
胡惟庸是個精明幹練的人，遇事小心謹慎，也非常善於討皇帝的歡心，由此而獲得寵信。但是，隨著權力不斷擴大，地位不斷提升，他也開始變得驕橫跋扈。除了皇帝，誰都不放在眼裡。這也難怪，除了朱元璋，朝中已經沒有誰的權力比他更大了。內外奏章，他都可以先拿來查閱，凡對自己不利的，便先行扣下。天下人都知道胡惟庸權大勢大，各方趨利之徒競相投奔，賄送財物。
