安吉著名古塔灵芝塔，始建于五代。北宋政和二年，灵芝塔旁又建成了东岳行官及行官碑。据同治十二年《安吉县志》载：“灵芝塔在顺安乡马家渡南山麓，相传五代吴越时建，虽不甚高而至今千余年，巍然独存。”灵芝塔属古代佛教建筑形式之一。它具有较高的历史、艺术和科学价值，反映了我国五代时期建筑艺术成就。该塔为楼阁式八面十层砖构实心体，通高22。46米，每层辟有一门二辟龛。并用平砖和菱角平子相间叠涩出檐，叠涩檐的五面上下均微向内倾，仍保留唐代遗风，上覆筒瓦。勾头饰宝相花，花瓣丰满。滴水饰重唇锯齿纹，钱脊饰脊兽，铁刹由覆钵、仰莲、相轮、宝瓶等组成。
安吉名刹灵峰寺自梁代建寺始，历来为文人墨客聚集之地。元代著名文学家、书法家杨维桢曾隐居在此。明代“四大高僧”之一、灵峰寺主持蕅益大师也是著名书法家，曾在灵峰寺留下佛学经典之作《灵峰宗论》，并在该寺圆寂。