五当召有许多古老而美妙的传说，最吸引人的是这里的庙会。每年农历七月二十五至八月初一，全寺的喇嘛在苏古沁殿念“嘛呢经”；傍晚喇嘛们手持经轮，吹着法号，敲着羊皮鼓绕寺庙而行，队伍颇为壮观。庙会活动五花八门，跳鬼是其主要活动之一。蒙古族人民信仰藏式佛教、黄教，蒙古因此而建立了许多召庙，五当召是内蒙古四大寺庙之一。

五当召的活佛是清代驻京八大呼图克图之一，称“额尔德尼.莫日根.洞科尔.班智达”，名望及地位均相当之高。第一世活佛本名罗桑坚赞，法名阿旺曲日莫，诞生于土默部。自幼聪慧过人，酷爱各种书籍。他曾去多伦诺尔汇宗寺向甘珠尔瓦呼图克图学经，几年后，呼图克图又送他入藏深造。他在西藏留学期间，以优异成绩获得了哲蚌寺拉然巴学位。从西藏返回内蒙后，他的经师甘珠尔瓦呼图克图将他升为多伦汇宗寺达喇嘛。康熙五十九年（1720年），他应聘进京参加蒙文《甘珠尔经》的编译工作。

乾隆十四年（1749年），经章嘉、锡埒图、济隆等驻京呼图克图们的许可，在五当沟动工修建了一座寺庙，即洞科尔殿，也就是时轮大殿。这是五当召有据可考的最早的大型建筑，也是五当召四大学部之一的洞科尔扎仓（时轮学部大殿）。因为第一代活佛学问最深，通达五明，对时轮学尤为擅长，清廷封他为“洞科尔.班智达”即“时轮学大学者”的意思，时轮学部以专门研究天文、历法、数学和占卜为主。

乾隆十五年（1750年），在洞科尔殿的西侧建造了一座两层楼的殿堂称为“当圪希德殿”，供奉众金刚，故亦称金刚殿。 　乾隆十九年（1754年），章嘉国师若比多吉（1717-1786年）转呈清廷理藩院请赐寺名，清廷钦赐满、蒙、汉、藏四体文字的“广觉寺”匾额。第二年（1755年）建造了五当召最主要的建筑——苏古沁殿（大经堂）。

乾隆二十八年（1763年），第一代活佛阿旺曲日莫在五当圆寂。五当召的活佛共转世七代，第七代活佛于1955年病故。此后五当召长期没有活佛，直到2006年，才寻到了第八世活佛。