魁星楼是孔庙中的建筑之一，原建孔庙之东南隅，清咸丰六年（1856），将已塌毁魁星楼移置孔庙之东。

魁星楼形制为攒尖顶，底层是青砖垒砌的八角形塔身，上有砖雕的飞檐斗拱，猫头滴水，在砖拱塔门上方，镶嵌着一块石匾，匾额上刻着一个魁星像。匾的上方刻篆体“魁星像”三个字。左角书“咸丰丁巳夏五”（公元1857年，咸丰七年）。右角书“盖邑公建”。塔的第二层为砖木结构，内为砖砌墙体，留有八角圆形窗户，外有八根明柱，支撑着八角厦檐。第三层全部由八根明柱支撑，厦檐为攒尖顶，其结构精巧细腻，别致典雅。攒尖顶的“笔锋”为黑釉陶瓷建成，直径一米，谓之“文笔参天”。

魁星楼坐底直径8米，高约20米，加之建在县城一块台地上，故登斯远眺，全城景致尽收眼底，山辉明媚，相得益彰。

1965年，“破四旧”、“立四新”，将魁星楼用木板钉的严严实实，用红笔涂成一根红柱，上面写了“伟大领袖毛主席万岁！万岁！万万岁！”以及毛主席语录。攒尖顶上的“笔锋”换成了巨大的五角星灯笼，一到晚上“红太阳光辉照四方”，成为县城的亮点。魁星楼幸免拆除，更名为“语录塔”。

1969年，县委员会成立之后，魁星楼又被建成水塔。1996年，县政府拿出巨款，对魁星楼进行了大规模的维修，雕梁画栋，基本恢复了原来的样子。

而今，魁星楼屹立在县实验中学的院子里，成为县城的一大景观。