1949年6月21日，在新政治协商会议筹备会第一次会议上，当讨论到新中国国名时，著名爱国民主人士张奚若先生提出了以“中华人民共和国”为国名的建议。9月27日，中国人民政治协商会议第一届全体会议采纳了张奚若先生提出的新中国国名，并将这一名称写进了《中国人民政治协商会议共同纲领》。

     1949年-1973年，他还一直担任中国人民外交学会会长，在推动中法、中日建交等方面做出了积极贡献。

     1952年9月，张奚若继马叙伦之后出任新中国的第二任教育部部长，为教育事业的发展呕心沥血，多有建树。在贯彻党的教育方针方面做了大量工作，开展爱国主义教育、公民教育、劳动教育，完善课程和学制，推广普通话，制订《小学生守则》等。
     1954年9月，他出席了第一届全国人民代表大会第一次会议，此后还连续当选第二、三届全国人大代表。

      1957年5月1日，在整风运动中，他对毛泽东提出了评价：“好大喜功，急功近利，否定过去，迷信将来”。7月13日，中共中央统战部邀请各民主党派和无党派爱国人士座谈，帮助整风。张奚若在会上分析了党在工作中产生主观主义、宗派主义和官僚主义的根源。

      1958年1月28日第十四次最高国务会议上毛曾引用他的说法，虽然不满意，又认为“张奚若是个好人”。

      1973年7月18日卒于北京。张奚若终其一生，始终以全体人民的福利为中心目标，保持仗义执言、坦诚耿直的作风，合志士与学者于一身，往大处着眼做学问，为社会服务做事业。

      张奚若 - 学术贡献
      在清华，张奚若主讲西洋政治思想史等课程，颇受学生欢迎。张奚若虽然是有名的大学者，但一生著述并不多。著名哲学家金岳霖称他是自己“最老的朋友”，金在回忆录中也不无感慨地说：“他的文章确实太少了”。在这位老友的印象中，张奚若只发表过一篇《主权论沿革》的文章。金岳霖的记忆显然有误，张奚若在政治学方面的学术文章并非只有一篇，不过也不是很多。张奚若发表的《社约论考》、《主权论》、《法国人权宣言的来源问题》、《卢梭与人权》、《自然法则之演进》等论著，在当年产生了很大的影响。
     张奚若认为，做学问的事情没有那么简单，应该鼓励钻研、容忍失败，必须反对急功近利的做法。他提出：“治学是要投资的，给一批人时间，叫他们去研究，即便这批人中间可能只有少数能真正有所贡献。”他对教书的要求十分严谨，因此他的课有个特点：“好上不好下”。课上，他对所涉及的人物和事件有褒有贬，讲课的声音也随之时而高亢、时而低沉；但下课之后，学生必须按照他的要求阅读参考书，这是一项繁重的作业。因为他不主张多读教科书，而特别注重阅读思想家的原著，如柏拉图的《共和国》、卢梭的《社会契约论》等都是必读的。

      张奚若是不轻易写作的，留下来的著作不多，但发表的 《社约论考》、《主权论》、《卢梭与人权》、《自然法则之演进》等文章在当时产生了很大的社会影响。法学家王铁崖回忆1931年读张奚若《法国人权宣言的来源问题》一文时的感受说，“那真是一篇罕见的好文章”，即使时隔几十年之后，其价值仍然十分珍贵。