朱元璋登基称帝后，给昔日与他并肩作战的将领们都加了封号，赏了俸禄。当时他封李善长为丞相，李善长乃是最早跟随朱元璋起义的人之一，也是朱元璋的同乡，在行军打仗中，对朱元璋忠心耿耿。因此，在建立大明王朝的时候，朱元璋按功行赏，把他排在了第一位。
但是做了宰相后的李善长，随着时移岁迁，开始变得奢侈享受、心胸狭窄。朝中官吏，凡是顺从他的就加以提拔;凡是不附和他的，就暗中想办法整治他们，将其发配到外地去。
时间长了，朱元璋也觉察到了李善长的不妥之处，再加上他的儿子李一雅无恶不作，李善长不仅不加以管教，反而处处庇护，惹得朱元璋大为不满。
这一天，朱元璋又为一事对李善长生起气来，当场呵斥道：“你退下去吧!我当初怎么会想起来用你这个丞相?”事后，朱元璋决意要换相。因此，一天朱元璋特地召刘伯温前来计议，其实当初封相的时候，他考虑过让刘伯温做宰相。
刘伯温听了朱元璋的想法，先是一愣，心想：更换丞相，并非小事，关系到社稷前程。朝中功臣宿将又多，要当好这个丞相也不容易。因此便劝朱元璋道：“善长乃是大明之臣，享有盛望，他做丞相，可以调和诸将，利于上下同心。依臣下之见，还是看他的长处，不换为好。”
“啊?”听到刘伯温这么说，朱元璋大吃一惊，静静地看了看刘伯温，慨然地问善长多次说你坏话，想加害于你，你为什么这时候还要帮他说情呢?”
刘伯温笑笑说：“他想加害我，这乃是私人恩怨。更换丞相，乃是朝廷大事。臣下怎么敢以公报私、以小损大呢?”
刘伯温说得语重心长、情真意切，使朱元璋深受感动，心中暗赞：伯温先生真不愧忠良之臣。俗话说，宰相肚里能撑船，伯温果然如此。赞叹至此，朱元璋不由得心头一亮，满脸堆笑，高兴地说道：“先生有如此的气量，真是难得。如今我的这个丞相，就要先生你来当了。”刘伯温一听朱元璋要他做丞相，连忙跪倒在地，拜辞道不行!不行!这事就好像是给房屋更换梁柱，必须使用大木。臣下乃是一根小木，怎么可以呢?否则，那房子是会倒塌的呀!”
朱元璋听了，半晌没有做声，想到朝中李善长势力庞大，刘伯温也确实有自己的难处，最后只好算了，说道这事以后再说吧!”
刘伯温辞谢而去。
