据考，吕家大院落的大规模兴建始于塘中举之后，距今约有150多年历史。吕塘于清道光二十四年（1845）中举，后任石膏井盐提举、云南孙阳州知州、河南大府领三品衔，赐忠义大夫。其子吕绅春清末进土，步入仕途后亦官亦商，后经李鸿章推荐出任清朝财政大臣。

吕家大院所在街巷，人称庆字号。建筑面积约25亩，主体工程花费了约13年时间，建筑规模在当时晋北一带堪称一流。共有院落9处，房屋150多间。其建筑式样是从天津取回的图样，仿皇宫之四合院修建而成。其主院落为三进三出式，前有门厅，中间是过道厅，后为正厅。正厅是三间大堂屋，东西各有耳房两间。屋内过去曾摆有开道锣、万民年、纱灯等皇帝所赐之物，特别是在堂屋门前有一块地方略高于院面，约3米见方，为青砖斜砌，系清光绪皇帝所赐，百官到此都要下跪。据传，吕家大院是由于吕塘、吕绅春父子勤政廉洁而由慈禧太后拨专款兴建的。