国珍却派人到京城活动，最终竟让元廷再次招安了方国珍。
刘伯温这回算是彻底看明白了元朝的腐朽无能，而辞官与元朝一刀两断。
1360年，朱元璋攻克金华，征召刘伯温来南京。刘伯温为朱元璋献上《时务十八策》，朱元璋大喜，当即将刘伯温奉为座上宾，并特意修建礼贤馆给他居住。
当时朱元璋已经有了自己的创业班底，唯有李善长文有徐达、常遇春，他们都是淮西人，而刘伯温却是浙东人。
在讲究同乡情谊的古代，刘伯温一个外来者在朱元璋的军中并不受欢迎。尤其是朱元璋的大管家李善长心胸狭隘，对于身怀大才的刘伯温非常记恨。这也注定了刘伯温日后的悲剧命运。
针对天下乱局，刘伯温建议朱元璋先攻打陈友谅，再去对付张士诚。在陈友谅大举进攻应天时，刘伯温出奇计，帮助朱元璋以少胜多，不仅大败陈友谅，还让徐达反推回了陈友谅的首府江州，江西全境归降。朱元璋称赞刘伯温是“吾之子房”。
刘伯温深得朱元璋信任，仪表堂堂，身材魁梧，能看天象风水，还会预测天气。朱元璋平日有什么事都会找他商量，朱元璋扫灭群雄，北定中原都是采用了他的策略。
1367年，刘伯温在元朝立法的基础上修成《戊申大统历》，这就是明朝的标准立法《大统历》。明朝建立以后，刘伯温被任命为御史中丞兼太史令，后受封为诚意伯。
与此同时，他与李善长等淮西勋贵的矛盾也愈发激烈。有一次刘伯温查到一个叫李彬的人犯罪，此人正巧是李善长的亲戚，李善长要求他予以通融，但是刘伯温还是上报给了朱元璋。李善长由此对他更加记恨。
当时李善长正准备辞去丞相，朱元璋问刘伯温谁合适。刘伯温认为杨宪、汪广洋、郭英等人皆不可用，就想让他当丞相。
刘伯温连忙以身体不好来推辞，朱元璋表面不说，但是心中对刘伯温也开始不满。恰逢天大旱，朱元璋问刘伯温怎么办？
一向神机妙算的刘伯温就给朱元璋出了一个主意，朱元璋照做以后发现还是不下雨，由此迁怒于他，把他赶回老家留职查看。
临走前还和朱元璋建议不要建都凤阳，元朝不可轻视，后来这两件事都被他说中了，