高祖纪坤（1570—1642），庠生，屡试不第，有诗名，著有诗集《花王阁剩稿》。

曾祖父纪钰（1632—1716），十七岁补博士弟子员，后入太学，才学曾受皇帝褒奖。

祖父纪天申（1665—1732），监生，做过县丞。

父亲纪容舒（1685—1764），康熙五十二年（1713年）恩科举人，历任户部、刑部属官，外放云南姚安知府，为政有贤声。其道德文章，皆名一时，尤长考据之学，著有《唐韵考》、《杜律疏》、《玉台新咏考异》等书。至纪容舒，纪氏家道衰而复兴，更加重视读书，遗训尚有“贫莫断书香”一语。[2]

据史书记载，纪晓岚先后有一位夫人和六房妾。纪晓岚的夫人姓马，马夫人直到纪晓岚七十二岁那年才去世。他有一房妾名为文鸾，是他从小青梅竹马的朋友(在北京纪晓岚故居，四合院中一株海棠，便是与文鸾所种）。郭彩符是纪的侍姬之一，沈明玕是纪的另一侍姬。