北宋时著名书画家米芾，于崇宁三年(1104)至大观元年(1107)任无为知军。喜得晋人王羲之《王略帖》、王献之《十二月帖》、谢安《八月五日帖》等墨宝，珍藏于书房，名“宝晋斋”。斋前有“墨池”。据清康熙十二年(1673)《无为州志》记载：“郡厅后构小亭为游憩之所。亭前甃石池。公夜坐，苦群蛙乱听，投砚止之，蛙遂寂。翌日，池水成墨色。迄今名墨池。”旁有石丈，即米芾具袍笏拜者。世人为纪念米芾，在宝晋斋、墨池、石丈的基础上建米公祠。原祠及藏品多毁失。民国年间在旧址建立县图书馆。近年又建立了县文物管理所。现藏历代名家碑刻百余方，有宋徽宗赵佶的楷书《题唐十八大学士》，米芾的篆书《御制文宣王赞》等。墨池、石丈犹存。1981年被定为安徽省重点文物保护单位。