高阁寺原名大士阁，位置在市区内马号街。因为建在砖砌的高台基上，才被叫做高阁寺。高阁寺其实不是传统的寺庙，是明成祖的第三子朱高燧王府（即赵王府）中的一座大殿。当地百姓戏称“金銮殿”。
      明洪熙元年（1412年），赵王朱高燧来到封地彰德。一纸令下，府署迁往东大街，将原来的府署改建为赵王府。府内建有宗庙、读书楼、粉妆楼、端礼宫、体仁宫等大大小小数十处宫殿。从宋代韩质赟治相州开始，到韩琦和金朝知府牛玉珣，都进行过扩建，朱高燧这次扩建达到了巅峰。大士阁便是赵王召见下属的宫殿。民国时府内建筑纷纷倒倾，现存的大士阁是明成化六年（公元1425年）重建的，距今已500多年的历史了。
      高阁寺建在梯形台基之上，通高20余米，台基高8米，长宽13米，南侧中部为石质阶梯，共32层，两侧为汉白玉扶栏，栏上雕有石狮，情态各异，栩栩如生。台基上外围也圈有汉白玉扶栏、石雕。基底上约一米高处有石浮雕装饰，每面八条龙，相互对称。阁楼高十米，重檐九脊，琉璃瓦顶，阁壁石雕游龙二十五尾，形象逼真，刻有印度梵文。1982年市政府又进行了大整修。是省级文物保护单位。整个建筑雄伟壮观，气势轩昂，与西边的文峰塔相互辉映，并肩媲美，点缀着古城的风光。