科尔沁蒙古族，一直保留着每年农历三月二十一日祭奠祖先成吉思汗的传统习俗。当年在王爷庙（今乌兰浩特）没有举行祭奠活动的庙宇，每年的祭奠活动都在王爷庙仓内举行。在1940年进行祭祀活动的时候，有一批蒙古族代表人物提出建筑成吉思汗庙的建议，并推举出4名代表去和日伪有关部门协商。日本军国主义者为了笼络蒙古族人民，便同意了这一要求。但建庙资金需自己筹集，于是成立了成吉思汗庙筹建委员会。筹委会采用民间集资的形式，规定凡居住在伪满洲国境内的蒙古人每人捐献五角钱，王公贵族、活佛喇嘛、官员、职工和学生等也有不同的捐献数额。先后共筹集建庙经费100万元，在伪康德七年（1940年）5月5日开始破土兴建。成吉思汗庙是由蒙古族颇有名气的艺术家耐勒尔设计的。工程历时4年，于伪康德十一年（1944年）夏季竣工。同年10月10日举行了盛大的落成典礼，共有两万余人参加了典礼。典礼其间举办了摔跤、赛马、射箭和科尔沁博、查玛表演以及蒙古族民间说唱等活动。前来参加庆典的有兴安四省各旗县和省外四旗军政各界代表，以及邻近省市大专院校蒙古族师生代表和当地农牧民群众。

     成吉思汗庙是全国唯一一座融汉族、蒙古族、藏族三个民族建筑风格于一体的、呈山字形轮廓的庙宇。建筑面积1279平方米，占地面积66280平方米。中间是高大的主殿，顶高30.2米；左右两侧连接着小于正殿的两个偏殿，顶高16.2米。正殿当中有16根粗大的红漆明柱，天花板上绘有彩色图案，两米高的成吉思汗铜塑像矗立在正殿的正中央.

     1987年5月1日，是内蒙古自治区成立40周年的喜庆日子。作为自治区首府诞生地的乌兰浩特，为了迎接节日的到来，又重点整修了成吉思汗庙和罕山公园。在园内和庙内增添了成吉思汗箴言长廊、成吉思汗的两匹骏马雕塑、一代天骄成吉思汗青铜像、苏勒德祭坛、成吉思汗展览厅、成吉思汗贴金像等。除此之外，还在通向主殿的道路两侧挂上了两排典雅古朴的宫灯，在庙宇左下方开辟一处成吉思汗碑林。