在民間，劉基一直以神機妙算、運籌帷幄著稱，所以號稱「活神仙」。當時的人們就經常拿他和諸葛亮相提並論：「以為諸葛孔明儔也。」謀略出眾的劉基，是智慧的象徵，也是朱元璋定鼎中原的重要謀士，朱元璋經常向他討主意。
有一次，朱元璋想要責罰丞相李善長，被劉基勸住。劉基說：「李善長雖有過失，但他能調和眾將。」朱元璋感到非常驚訝：「他幾次想要加害於你，你居然還為他著想？我這次就想改任你為丞相。」劉基連忙推辭：「這怎麼行呢？用丞相就必須用粗壯結實的大木，如用小木，房子就會立即坍塌啊。」
後來，李善長被罷相，朱元璋想任命楊憲為丞相。楊憲長期負責特務工作，平時待劉基很好，沒想到劉基極力反對他出任丞相：「楊憲沒有做丞相的氣量。」朱元璋接著又問：「汪廣洋如何？」劉基答道：「氣量比楊憲更加狹小。」朱元璋接著提名胡惟庸，劉基答道：「做丞相就好像駕車，我擔心他會翻車。」
這也不合適，那也不合適，朱元璋不免面露慍色，忽然說道：「這丞相之位，怕是只有先生你最合適。」沒想到劉基仍是推辭，說道：「我一向嫉惡如仇，又缺少處理繁雜事務的耐心，恐怕也會辜負皇上的重托。天下不是沒有人才，需要的是皇上留心物色。只是這幾個人確實不適合出任丞相啊。」
劉基把帝國比作大廈，用丞相就得用那些粗壯而又結實的木頭，起用得力幹將。只是他自己不願意做這樣的木頭，不知是不是看到了某種凶險。楊憲、汪廣洋、胡惟庸這幾位，後來都在丞相任上獲罪。
劉基不愧為識時務的俊傑，他一直尋機退隱。但他這一番推心置腹的談話，不僅得罪了朱元璋，也得罪了淮右集團，更是徹底得罪了胡惟庸，從而為自己日後的命運埋下了禍根。他想遠離是非之地，卻已走不脫了。
有人不想當，有人搶著當。這個世界上，缺的不是人，而是位子。再危險的崗位，都會有人去填充，何況是丞相這樣的高位。胡惟庸一直費盡心力往上爬，最終爬到了這個位置。沒想到的是，他不僅把自己的小命搭進去，還成了末代丞相。
胡惟庸是定遠人，和李善長是同鄉，所以一直受其提攜。洪武六年（一三七三），他與汪廣洋同任右丞相，但由於汪廣洋被貶廣東，所以胡惟庸可以獨專中書省事務，直至升任左丞相。
胡惟庸是個精明幹練的人，遇事小心謹慎，也非常善於討皇帝的歡心，由此而獲得寵信。但是，隨著權力不斷擴大，地位不斷提升，他也開始變得驕橫跋扈。除了皇帝，誰都不放在眼裡。這也難怪，除了朱元璋，朝中已經沒有誰的權力比他更大了。內外奏章，他都可以先拿來查閱，凡對自己不利的，便先行扣下。天下人都知道胡惟庸權大勢大，各方趨利之徒競相投奔，賄送財物。
這個時候的胡惟庸是最為自得的，同時也是最為危險的。
朱元璋對這些情況不可能不了解，只是他尚且沒有意識到事情的嚴重性。或者說，他還在等，等待事態的發展，等待收拾胡丞相的最好時機。 （相關報導： 明朝皇帝有夠狂！不是忙著當道士、做木匠…就是長達30年不上朝，為何國家還能正常運作？ ｜ 更多文章 ）
對於胡惟庸的不法和妄為，不少人敢怒不敢言。大將軍徐達多少也知道一些，他選擇向朱元璋告發。此前，胡惟庸曾多次拉攏徐達，均被徐達冷處理。徐達鄙薄其人，不屑與其交往，並瞅準時機悄悄稟告朱元璋，說胡惟庸這人根本就不適合擔任丞相。胡丞相熱臉貼了冷屁股，心頭自然不快，得知徐達打自己的小報告後，更是怒火中燒，於是設計謀害徐達。
