虞集，字伯生，是宋朝丞相虞允文的五世孙。
曾祖虞刚简，为利州路提刑，为官很有政绩。他曾与临邛魏了翁、成都范仲黼（fǔ）、李心传等人，在蜀之东门外一起讲学，深得程、朱学说隐微的旨意，著有《易诗书论语说》，以阐明其义，蜀人尊崇他为理学宗师。虞集的祖父虞珏（原文为上下各两个“工”字），任连州（连州市位于广东省西北部）知州，也以文学知名。
虞集的父亲虞汲，任黄冈尉。宋亡，侨居临川崇仁，与吴澄为友，吴澄称赞他的文章清丽纯正。他曾经两次到京师，赎回同族中被俘获的十余人，因此家境更加贫困。晚年出仕任小官，教授诸生，得到孛术鲁翀（chōng）、欧阳玄等人为弟子而非常赏识他们，以翰林院编修官退休。娶妻杨氏，是国子祭酒杨文仲的女儿。咸淳年间，杨文仲守衡阳，虞汲跟随他，因未有子嗣，虞汲至南岳祷告。虞集临降生时，杨文仲早晨起来，穿戴好衣冠后坐着打瞌睡，梦见一道士至前，牙兵上前禀告说：“南岳真人来见。”梦醒以后，听到女婿生得一男，心里十分惊异。
虞集三岁时就知读书，至元十二年（1275），虞汲携全家去岭外，战乱之中没有携带书籍，杨氏口授虞集《论语》、《孟子》、《左氏传》和欧、苏的文章，他听一遍就能背诵。等到回到长沙，拜师学习，方得到各经的刻本，已经是尽读了诸经，通晓其大义了。杨文仲是世代治《春秋》学说的名家，而他的族弟参知政事杨栋，又明晓性理之学，杨氏未嫁时，就尽通其说，所以虞集与弟弟虞槃，都是受业于家庭，在外则以世家之子的身份师从吴澄，所学都有其渊源。
泰定初年，任国子司业，升任秘书少监。天子巡视上都，因为侍讲之臣多是年高体弱，所以命虞集与集贤侍读学士王结，带着经书相随。从此，虞集每年都跟随皇帝出行。为皇帝讲经的制度，是选取经史之中切合于养心育德及有关治国之道的内容，用蒙古语、汉文两种文本进呈皇上阅读。在润色翻译之际，最难的是那些陈说圣学的内容不容易把其中要旨表达明白，以及那些对时事要务有所指导的内容难于极尽其情实，每次选取一时精于其学的人执掌此事，犹经数日才能完成一篇，虞集反复辨明古今名物而使之通达，然后才能做到准确无误。其文辞的通达程度，若有万分之一的不妥之处，他没有一次不是退而私自叹息。拜翰林直学士，不久又兼任国子祭酒，曾趁讲学结束后，论说京师靠从东南地区运粮充实供给，竭尽民力而置之于险恶不测的水运，这不是宽待远人而利用地利所应采取的做法

文宗在做藩王时，就已经知道虞集的名声，即位以后，任命虞集仍然兼任经筵的职务。曾经因其先世坟墓在吴、越地区的，多年未修而致湮没，请求外放任一郡守以求有所收益，皇帝对他说：“以你的才能任一郡之长是没有什么不胜任的，只是现在你还不能离开朝廷。”任他为奎章阁侍书学士。当时正遇上关中地区遭受严重的饥荒，百姓尸横遍野，有的地方方圆数百里没有一个人存活下来，皇帝问虞集有什么好方法能使关中地区的饥民得救，他回答说：“很久以来太平无事，人们的性情变得喜好安逸，而有志之士，却急于在近期内有所建树，由此而导致怨言增多。在不幸遇到大灾之时，正是君子能施展治国革新的良机，如果能够派遣一两个有仁术、知民事的官吏，稍微放宽一些对他们的限制，使他们能够有所作为，在各郡县中选择可用之人，在百姓原来定居之处，设立城郭，重整闾里，治理沟河水渠，限定田亩，减少征敛，招抚那些伤残老弱之人，让他们各尽其力而逐渐治理，这样就会使那些远逃在外之人逐渐回乡，并在春耕秋收之时，都给予他们资助，一二年间，不要征敛赋税和派遣徭役，疆界确定了，百姓互相关心救援，对四面八方投奔而来的人，都一视同仁，截然有法，这样像三代圣世时期一样的顺服昌盛的臣民，将出现在这片空虚的土地上。”他的建议得到皇帝的称赞。虞集因此又进言说：“臣子假若有幸去治理一个郡，以此法试行，不出三五年，必然会有成果报答朝廷。”皇帝左右有人说：“虞伯生提这建议是想要藉此离开朝廷。”于是不再讨论此事。因有敕令诸兼职不超过三个，所以免去了虞集国子祭酒的官职。
当时宗藩之间有隔阂，功臣奢侈越制，政教未能确立，文宗要通过朝廷考试，选拔人才，虞集被任命为阅卷官，他先提出以“劝亲亲，体群臣，同一风俗，协和万邦”为试题，帝未采用。虞集认为自己作为皇帝日常侍奉的官员，对时政没有多少补益，并且遭到许多人的妒忌，于是便与大学士忽都鲁都儿迷失等人进言说：“陛下真知独见，建置奎章阁，观揽书籍，设置学士官员，以备顾问。臣等占据着这些职位，没有什么建树以报朝廷，自恐有拖累圣德之处，乞求准许臣等辞职。”皇帝说：“往昔我的祖宗，睿智聪明，他们对于致理之道，是生而知之，朕早年跋涉于艰难险阻间，比我的祖宗，既缺乏生而知之之明，对于国家治理和体制，岂能全面通晓？所以才建立奎章阁，设置学士官员，以祖宗的明训、古昔治乱的得失经验，每日在朕面前陈说，卿等要尽量把你们所知道的讲给我听，用以辅助成就我的志向。至于那些军国机务，自有中书省、枢密院、御史台等机构负责处理，不是卿等的职责。你们以后不要再提及辞职之事。”
虞集评论人才，必然以其人器识为先，对心中不以为然的人，也不去沽取笼络人才的美誉；他评论文章，不达到十分准确公正就不止，对于那些违背经义的文章，文辞虽然好，也不予以赞扬。虽然因为这两点触怒他人而促使别人对他加以诽谤，但始终不因此而改变原则。光人龚伯璲（suì），以才俊而被马祖常所喜爱，马祖常任御史中丞时，龚伯璲成为他的门上客。马祖常屡次称赞他的才学，想要虞集出面把他推荐给朝廷，虞集认为不可，他说：“此子虽然略有才华，但不是有大前途的人，而且我也恐怕他不能得到善终。”马祖常听后仍然不以为然。一天，马祖常邀请虞集到他家中做客，设置了酒宴，酒过一半时，他拿出推荐书请求虞集署名，虞集坚决拒绝，马祖常很不高兴而不再提及此事。文宗驾崩，虞集正在休假，想要谋求南还家乡，没有成功。幼君崩逝，大臣们将要立妥欢帖穆尔太子，采用至大年间的旧例，召集诸老臣到上都商议国政，虞集被列入在召之列。马祖常派人告诉虞集说：“御史有言。”于是他就以病辞归临川。当初，文宗在上都，将要立其子阿剌忒纳答剌为皇太子，就以妥欢帖穆尔太子的乳母夫所言为由，说明宗生前，常说太子不是他的儿子，就把太子贬黜到江南，召翰林学士承旨阿邻帖木儿、奎章阁大学士忽都鲁笃弥实乘驿车到上都把此事记载在《脱卜赤颜》中，又召虞集令他撰写诏书，将此事传示朝廷内外。当时省台的各位大臣，都是文宗平素所亲信任用、功绩与地位相等的人，御史也不敢出言指责此事，只是暗示虞集尽快离去而已。龚伯璲后来因为当权谋逆，遭致杀身之祸，世人才佩服虞集知人。
元统二年（1334），皇帝派遣使者前往虞集家中赏赐美酒、金织文锦二匹，召他还至翰林院，虞集因疾病发作而不能成行，皇帝屡次有敕令，命他就在家中撰写，褒赐勋旧、侍臣。有人以虞集过去曾草拟太子非明宗子的诏书而向皇帝告发，皇帝不高兴地说：“这是我的家事，岂是他一个书生所能作主的呢！”至正八年（1346）五月己未，虞集因病去世，享年七十七岁。他任官自将仕郎（文散官名，唐宋从九品下为将仕郎，元升为正八品）起步，经过十二次升调为通奉大夫（文散官名，宋为从三品中，元升为从二品）。被赠官为江西行中书省参知政事、护军，封仁寿郡公。
虞集为人孝友，当他的双亲以世家大族而有美好的德行，中途遭乱亡之灾，侨居下邑，他仍然能在父母左右承奉孝顺而无所违背。他的弟弟虞槃（pán），早年去世，他负责教育弟弟的孤儿，与自己的孩子一样。他的哥哥虞采，以掌管库藏官输送赋钱至京师，亏空数额数千缗，虞集为他筹措借贷还亏空，毫无为难之色。他抚养庶弟、嫁孤妹，都施予他们恩惠。虞集对于那些以知古学而闻名的山林隐士，全都折节礼待，对待晚辈后进之人，即使他们比他年少而地位卑贱，他也能平等对待。对于那些当权的显贵，他从不有所依附，在中书省讨论国政，他正直直论，有许多建议被采纳，曾屡次以只言片语而解除疑误，把人从死亡边缘解救出来，也不因此而希求别人报答他的恩德。张珪、赵世延对他特别礼敬，若有所疑必然要向他咨询。虞集素来清贫，归家养老以后家中人口更多，登门拜访之士相望于道，有好事者争相建造邸舍来接待他。但是他对于碑板（碑碣上所刻的志传文字）铭文的撰写，从不苟且而作。南昌有位名叫伍真父的富民，其资产雄甲一方，娶诸王之女为妻，充任本位下郡的总管。他死后，他的儿子托丰城士人甘悫（què，诚实，谨慎）求虞集撰写墓铭，奉献给他五百锭中统钞折作礼物，虞集不肯为他撰写，甘悫感到很惭愧而离去。虞集教授学生所得的收入及宾客所送的礼物，都用于接待宾客，即使因此而穷苦没有积蓄，也毫不在意。
虞集虽然学问非常广博洽闻，但都能究察学问的源流，精心研究探索微旨，达到心神领会契合。他经天纬地包罗万象的才能全部寄寓在文章之中，充溢着宋朝庆历、乾道、淳熙年间文辞的余风。曾经因为江左地区有很多先贤，他们的事迹都不易被人知晓，他们的学说都还不易被人们了解，而后生晚进的人中知道的更少，所以他想要取法太原人元好问编《中州集》的遗意，另外编一部《南州集》来对这些先贤加以介绍，因为患眼病而使此事终归未成。他平生撰写万篇，存有底稿的只有十之二三。他早年曾与弟弟虞槃共同辟置了两间书房，左室墙壁上书陶渊明的诗，题室名为陶庵；右室中书邵尧夫的诗，题室名叫邵庵，因此世人称虞集为邵庵先生。虞集有四个儿子，其中虞安民，以荫庇为官任吉州路安福州（今江西省安福县）知州。在虞集门下游学之人中被世人称赞的，有莆田人陈旅，陈旅也有文章流传于世。虞集在国子学所教诸生之中如苏天爵、王守诚等人，终生不拜他人为师，都是当世称道的名臣。与虞集交往最深厚的朋友，叫范梈（pēng）。。
虞槃年幼时，曾经读柳子厚《非国语》，认为《国语》确实有可指摘之处，但柳子之说也有可指摘之处，于是著《非非国语》，当时人们已经叹服他有学识。虞槃对于《诗》、《书》、《春秋》诸经都有所论著，而《春秋》乃是其家学，所以特别精善。他阅读了吴澄所解的诸经义之后，就掌握了吴澄经学的旨趣所在，吴澄曾多次称赞过他。兄长虞集，遇到方外僧道，一定要向他们请教佛道学说，曾经认为圣人的说教不很明确，使学者找不到足够的理论依据，如果对于儒家学说不同的异教的疑似之学不能深知，而要研究那些性命之源、生死之故等问题，很少有人会不对异教折服而归化。虞槃不认为是这样，一听说有僧人在座，就不肯入内竟自离去，他为人就是这样刚正不阿，尽管是身为兄长的虞集也对他有些敬畏。但是很不幸他年纪未老就去世了。