外环第四层外墙的9个瞭望台，木结构，向外挑出，既可瞭望又可架设土铳；大门上方的瞭望台可直接观察村口的动静，还可封锁正面的通道，凭险踞守该楼。这是由于初溪村地处大山深处，当时经常有土匪野兽出没，所以建楼者特别注重增强防卫功能。
楼后侧底层还设一秘密通道，在一个房间的外墙上预留距地面高1米、长1.6米、宽0.7米的缺口，外用夯土墙封住，因用与土墙相同的泥土，外人也发现不了破绽；其内向外凹出，平时用木板遮住，外人进入该房间亦无法发现其中奥秘。当楼内居民需向外紧急疏散、逃避时，可迅速捅开这个秘密通道，直奔楼后的山坡，隐蔽在树林之中。

内环与外环以天井相隔，门厅至内环之间以青石板铺设通道。内环单层，砖木结构，前后向和两侧各有一条约3米宽、高于天井的石砌通道与外环的内通廊连接。26开间，设饭厅、杂物间；房间与房间以杉木板相隔，房间前、后向地面以上1米为青砖墙，砖墙以上为杉木封板；每一两个房分别开前、后门，前门朝向祖堂，后门与外环底层贯通。内、外环均为两面坡瓦屋顶，穿斗、抬梁混合式木构架。
祖堂位于楼中心，方形，单层，土木结构，以位于后向的厅堂、厅前两侧的回廊和正面的回廊围合而成，中为天井，正面的门正对楼门。厅堂宽敞，供奉神座，两边各设一小门出入。歇山顶，穿斗、抬梁混合式木构架
楼内底层的通廊、天井以及楼外的门坪均以鹅卵石铺面。