1949年10月1日，中华人民共和国举行开国大典，毛泽东庄严宣告中华人民共和国中央人民政府成立。他参加开国大典。10月9日，出席中国人民政治协商会议全国委员会第一次会议，当选为中国人民政治协商会议全国委员会常务委员会委员。10月19日，被推举为中央民族事务委员会副主任委员。中华人民共和国成立初期，他先后担任中共中央内蒙古分局书记，内蒙古自治区人民政府主席，内蒙古军区司令员兼政委、绥远军政委员会副主席，绥远省军区副司令员，中共中央绥蒙分局书记，绥远省人民政府主席。在此期间，他按照中共中央的既定方针，为内蒙古全区域统一自治而努力工作。1950年1月，中共人民政府政务院总理周恩来在北京召见他和刘春等人，研究内蒙古自治区的划界问题，周恩来总理根据中共中央和毛泽东主席的指示，确定将历史上属于内蒙古的区域划归内蒙古，建立东西部统一的内蒙古自治区，并根据他所提出的“尊重历史，照顾现实”原则和具体建议，初步确定了内蒙古自治区的区域界限以及将归绥市（今呼和浩特市）作为内蒙古自治区的首府。在中共中央和华北局的领导与支持下，经过3年多的不懈努力和做了大量民族政策的宣传教育及细致的协调工作后，中共人民政府政务院于1954年1月28日批准了中共中央华北局提出的“绥远省与内蒙古自治区正式合并，撤消绥远省建制”的建议。1954年3月6日，绥远省、内蒙古自治区正式合并，撤消绥远省建制，原绥远省辖区统一由内蒙古自治区人民政府领导，绥远军政委员会、绥远省人民政府、绥远省各界人民代表会议协商委员会同时撤消。4月25日，经中共人民政府政务院批准，内蒙古自治区首府归绥市正式改用蒙古语原名呼和浩特市（“呼和浩特”蒙古语意为“青色之城”）。至此，以呼和浩特市为中心，东西部统一的内蒙古自治区基本形成。在国民经济恢复的这段时间里，他领导着内蒙古各民族人民，按照中共中央和中央人民政府的统一部署，积极开展了抗美援朝运动、土地改革运动、镇压反革命运动、“三反”（反对贪污、反对浪费、反对官僚主义）运动、“五反”（反对行贿、反对偷税漏税、反对偷工减料、反对骗取国家财产、反对盗窃国家经济情报）运动，为完成中共七届三中全会提出的为争取国家财政经济状况的基本好转而奋斗的总目标和总任务，付出了艰辛的努力，他从整顿旧军队、剿匪除奸、安定社会秩序、稳定边疆国防入手，积极推动农业和畜牧业的发展，并为工业建设的大发展打下了牢固的基础。

内蒙古自治区建立后，他先后担任中华人民共和国中央人民政府委员，政务院委员，国防委员会委员，中央民族事务委员会副党组书记、主任委员，中央民族学院院长、中共中央华北局副书记、华北行政委员会委员，中共中央内蒙古分局书记，国务院副总理，内蒙古自治区党委第一书记、内蒙古自治区人民政府（人民委员会）主席、内蒙古军区司令员兼政委，内蒙古大学校长，中共中央华北局第二书记，内蒙古自治区政协主席。1955年，被授予上将军衔。他还当选中国共产党第七届候补中央委员，第八届中央委员、政治局候补委员，第十届中央委员。他长期致力于民族工作，在主持内蒙古自治区工作近20年中，创造性地执行了中国共产党的民族区域自治政策和各项政策，把马列主义、毛泽东思想和内蒙古地区的实际相结合，在培养民族干部方面作出重大贡献，解决了内蒙古自治区社会主义改造和社会主义建设中的许多重大问题，团结并带领内蒙古自治区区蒙汉各族人民群众在社会主义革命和建设中，取得了巨大成绩。

中华人民共和国成立后，他深深懂得：革命战争、自治运动需要大批民族干部，进行社会主义建设更需要大批各方面的建设人才。1950年，在国家经济恢复时期，他强调要继续办好内蒙古党校，并作出规划，使县团级以上干部轮流分期分批到党校学习马列主义理论、毛泽东思想、党的基本知识和党的民族政策理论。并决定开办内蒙古行政干部学校、干部文化补习学校，系统地提高战争时期培养和提拔起来的蒙汉各族工农干部和青年知识分子干部的政治理论水平、文化水平和业务知识。为适应有计划的经济建设和文化建设的需要，他又及时把培养干部的重点转移到有计划地创办各类高等学校和中等专业学校方面，以培养各种建设人才。在他的亲切关怀下，1952年，在乌兰浩特建立内蒙古师范学院（1954年，迁驻呼和浩特，与内蒙古师专合并），开办蒙古语授课专业，为内蒙古自治区培养了大批蒙汉兼通的中等学校师资；同年，创办了内蒙古畜牧兽医学院（后改为内蒙古农牧学院）；1956年，创办内蒙古医学院；1958年，创办内蒙古林学院；1959年，创办内蒙古工学院、建筑学院、财经学院。在创办这些大学的过程种，他都亲自过问，并亲自到国家教育部和其他有关部委申请经费，选调师资、争取兄弟院校的援助等，做了大量艰苦细致的工作。1957年10月，在他的直接领导下，经过紧张的筹建，内蒙古自治区高等学府—内蒙古大学正式开学，这是内蒙古地区有史以来的第一所综合大学，它的创办是内蒙古自治区各族人民值得庆贺的一件大事，也是内蒙古自治区发展文化教育事业的重大成就。至1965年，内蒙古自治区已有各类大专院校7所，在校学生8487人；中等专业学校27所，在校学生7280人，初步形成了培养高中级各类建设人才的教育体系，基本满足内蒙古自治区经济和而后建设对各类人才的需要。