清朝雷琼道台朱采于光绪十五年（1889）主持修建，同时增建和重建了观稼堂、学圃堂、西斋（又名五公精舍）。祠内奉祀唐、宋两代被贬来琼的（唐）李德裕、（宋）李纲、赵鼎、李光、胡铨五位历史名臣，俗称“五公”。

五公祠为楼阁歇山顶建筑，建筑面积498.88平方米,高12.26米,后墙柱处砌墙,其余三面辟为廊，整座大楼由18根木柱和10根石柱支撑，其建筑风格有鲜明的海南地域特征，带有南洋建筑的痕迹，也深受岭南建筑的影响，有较高的艺术和历史价值。

五公祠正门悬挂“五公祠”的金字匾额，楼上挂有“海南第一楼”，落款署：“光绪十五年嘉兴朱采”，楼内大厅挂“安国危身”横匾。楼下供奉五公神位和展出五公史迹，大厅圆柱挂楹联二副，其一：“只知有国，不知有身，任凭千般折磨，益坚其志；先其所忧，后其所乐，但愿群才奋起，莫负斯楼”。原为民国观察使朱为潮一九一五年撰联，著名学者容庚先生一九八0年重书；其二：“於东坡外，有此五贤，自唐宋迄今，公道千秋垂定论；处南首级中，别为一郡，望烟云所聚，天涯万里见孤忠”。原为民国广东学使徐祺撰联，著名学者商承祚一九八一年重书。楼上大厅圆柱有楹联二副，其一：“唐嗟未造，宁恨偏安，天地几人才置诸海外；道契前贤，教兴后学，乾坤有正气在斯楼中”。由清朝海南举人潘存撰联，著名书法家麦华三先生一九八0年重书。其二：“五贤系两代兴衰，报国投荒，唐宋迄今留正气；一身睹万民憔悴，筹边弭乱，冰渊夙夜凛遗规”。为民国琼崖镇守使黄志桓撰联。这些楹联惊天地、泣鬼神，正气浩然，雄姿勃发，充分表达了五公高风亮节和刚正不阿的品质和精神。

五公祠历代有重修，民国四年（1915）琼州道尹朱为潮曾主持修缮。解放后，在1954年、1973年、1992年、1996年由广东省和海南省人民政府、海口市人民政府先后拨款对这组古建筑进行修缮。五公祠（海南第一楼）最大规模的一次维修是在2002年10月，由国家文物局、海口市人民政府和五公祠管理处共同出资对其进行抢救性的维修。抢修后的海南第一楼，光彩夺目，焕然一新，再现了百年古楼的风采和雄姿。

五公祠之所以称为海南第一楼，其根本原因就在于建筑规模和所奉祀的五公他们高风亮节的品德在当时都堪称第一。