四会图书馆始办于1928年，1950年10月，四会县人民政府决定成立县文化馆，内设图书室，有专人管理，隶属文化馆。1977年5月，四会县图书馆正式成立，馆址仍在文化馆内。1982年3月，县人民政府决定拆除文化馆原址，改建图书馆。1984年月10月图书馆新馆落成，面积是1580平方。1991年续建二层，馆舍面积增加到2500平方。1999年10月搬迁到汇源路9号（旧市府大院内），馆舍面积是1563平方。

目前，四会市图书馆是国家二级图书馆,在编人员13人，其中大专以上学历11人，目前馆藏书量为11.5万册。设有广东流动图书馆四会分馆、图书外借厅、少儿外借室、报刊阅览室、电子阅览室、地方文献室、参考咨询室、古籍书室等8个服务功能室。其中：7万册成人图书、1.5万册少儿图书以及250种期刊实行全开架借阅，60种报纸提供给读者免费阅读。 采用开放灵活的藏、借、阅、查“一站式”服务模式，以“创新务实、读者满意”作为办馆方针，除提供图书借阅服务外，还经常性开展送书下乡、征文比赛、知识猜谜、公益讲座、书画展览、节假日游园活动服务。近年来，为延伸服务触角，我馆先后在机关、企业、学校、农村建立图书基层服务点，为广大人民群众提供多渠道、多层次的读书服务，为我市公共文化服务体系作出了一定的贡献。四会图书馆的开启，使广大群众拥有了一个舒适的读书环境，是群众遨游知识海洋的好地方。