刘基天资聪明却好学习，聪慧过人，由父亲启蒙识字，十分好学。阅读速度极快，据说七行俱下。12岁考中秀才，乡间父老皆称其为“神童”。
泰定元年（1324年），十四岁的刘基入郡庠（即府学）读书。他从师习春秋经。这是一部隐晦奥涩、言简义深的儒家经典，很难读懂，尤其初学童生一般只是捧书诵读，不解其意。刘基却不同，他不仅默读两遍便能背诵如流，而且还能根据文义，发微阐幽，言前人所未言。老师见此大为惊讶，以为他曾经读过，便又试了其他几段文字，刘基都能过目而识其要。老师十分佩服，暗中称道“真是奇才，将来一定不是个平常之辈！”一部春秋经，刘基没花多少工夫就学完了。
泰定四年（1327年），刘基十七岁，他离开府学，师从处州名士郑复初学程朱理学，接受儒家通经致用的教育。郑复初在一次拜访中对刘基的父亲赞扬说：“您的祖先积德深厚，庇阴了后代子孙；这个孩子如此出众，将来一定能光大你家的门楣。”刘基博览群书，诸子百家无一不窥，尤其对天文地理、兵法数学，更有特殊爱好，潜心钻研揣摩，十分精通。有一次，探访程朱理学故里—徽州，得知歙县南乡的六甲覆船山有一本《六甲天书》，便探秘覆船山（主峰搁船尖），原来这里隐藏了一个完整的明教社会，不仅找到了《奇门遁甲》而且还结识了一大批明教圣者，刘基的虚心好学和出众才智，使他在这里学就和掌握了丰富的奇门斗数知识，回家后就在家乡出了名，大家都说他有魏征、诸葛孔明之才。

朱元璋即皇帝位后，刘基上奏制定军卫法。当初确定处州税粮时，仿照宋制每亩加五合，唯独青田县除外，太祖这么说道“：要让刘伯温家乡世代把此事传为美谈。”太祖巡幸汴梁时，刘基与左丞相李善长一起留守京城。刘基认为宋、元两朝都因为过于宽纵而失天下，所以应该整肃纲纪，于是便下令御史检举弹劾，不要有任何顾忌，宿卫、宦官、侍从中，凡犯有过错的，一律奏明皇太子，依法惩治，因此人人都畏惧刘基的威严。中书省都事李彬因贪图私利，纵容下属而被治罪，李善长一向私宠李彬，故请求从宽发落，刘基不听，并派人骑马速报太祖，得到批准，刘基便在祈雨时，将李彬斩首。因为这件事，刘基与李善长开始不和。太祖返京后，李善长便向太祖告状，说刘基在坛土遗下杀人，是不敬之举。那些平时怨恨刘基的人也纷纷诬陷刘基。当时正逢天旱，太祖要求诸臣发表意见，刘基上奏说：“士卒亡故者，他们的妻子全部迁往他营居住，共有数万人，致使阴气郁结。工匠死后，腐尸骨骸暴露在外，将投降的吴军将吏都编入军户，便足以协调阴阳之气。”太祖采纳了他的意见，但十天过后仍不见雨，故而发怒。此时恰好刘基的妻子死了，所以刘基请求告辞还乡。太祖正在营造中都，又积极准备消灭扩廓。刘基临走上奏说“：凤阳虽是皇上的故乡，但不宜作为建都之地。王保保不可轻视。”不久，定西之役失利，扩廓逃往沙漠，从那时起一直成为边患。这年冬天，太祖亲自下诏，叙说刘基征伐之功，召他赴京，赏赐甚厚，追赠刘基的祖父、父亲为永嘉郡公，并多次要给刘基进爵，刘基都固辞不受。太祖因事要责罚丞相李善长，刘基劝说道“：他虽有过失，但功劳很大，威望颇高，能调和诸将。”太祖说：“他三番两次想要加害于你，你还设身处地为他着想？我想改任你为丞相。”刘基叩首说道“：这怎么行呢？更换丞相如同更换梁柱，必须用粗壮结实的大木，如用细木，房屋就会立即倒坍。”后来，李善长辞官归居，太祖想任命杨宪为丞相，杨宪平日待刘基很好，可刘基仍极力反对，说：“杨宪具备当丞相的才能，却没有做丞相的气量。为相之人，须保持像水一样平静的心情，将义理作为权衡事情的标准，而不能搀杂自己的主观意见，杨宪就做不到。”太祖又问汪广洋如何，刘基回答：“他的气量比杨宪更狭窄。”太祖接着问胡惟庸，刘基又回答道：“丞相好比驾车的马，我担心他会将马车弄翻。”太祖于是说道“：我的丞相，确实只有先生你最合适了。”刘基谢绝说：“我太疾恶如仇了，又不耐烦处理繁杂事务，如果勉强承担这一重任，恐怕要辜负皇上委托。天下何患无才，只要皇上留心物色就是了。这几个人确实不适合担任丞相之职。”后来，杨宪、汪广洋、胡惟庸都因事获罪。