名动京师金农去世后，罗聘开始独立卖画为生。乾隆三十六年(1771)，罗聘第一次进京。罗聘当时在画坛的知名度并不高，进入京城，且以画谋生，难度是相当大的。但早已涉足生意场中的罗聘，是知道要利用老师金农的名气来做一点“人情生意”的。因此，他进京后，首先拜访的，就是老师金农生前的旧友和名流。 凭着自己“怪怪”的脾气，罗聘进京后的际遇，是不难想象的。官场上的虚伪狡诈，附庸风雅，以及人情的冷暖莫测，等等，无异于给这位恃才傲世的“怪人”当头一瓢凉水。处处碰壁、遭人白眼的境地，给这位“古怪画家”带来丰富而强烈的创作灵感。在这种背景下，一组不朽的作品——《鬼趣图》诞生了。《鬼趣图》一共8幅。第一幅，是在一片弥漫的烟雾中，隐隐约约可以看见一些离奇的面目和肢体，似真似幻。那虚无飘渺的形象，就是“鬼”；第二幅，画面上是两个鬼：一前一后，疾速前行。后面跟着的鬼，头戴缨帽，很瘦，有人认为画的是一对主仆；第三幅，画的是一个穿着华丽而面目可憎的“阔鬼”，它手拿兰花，贴近一个女鬼说悄悄话，旁边还有一个鬼在窃听；第四幅，画的是一个矮鬼，拄着拐杖，一个红衣小鬼为他捧着酒钵；第五幅是一个绿头发鬼，脚和手臂都很长，在作捉拿状；第六幅是一个大头鬼，正追赶着跑在前面的两个小鬼。两个小鬼一边奔跑，一边慌慌张张地回头看；第七幅中，一共画了4个鬼。一个鬼打着伞在风雨中疾行，紧紧地跟在前面的一个鬼后。还有两个小鬼，头出现在伞旁，没有身子；第八幅，画的是两具白骨骷髅，一男一女，站在树丛中的一座古墓旁说话。 这些看了使人恐惧又发笑的《鬼趣图》，刻画的到底是谁？是不是针对当时的社会现象？罗聘说都不是，他说他画的是他亲眼所见，因为他“有一双蓝眼睛，能够白日见鬼”。《鬼趣图》一出，罗聘果然在京城博得了不小的名声。用现在的话说，《鬼趣图》可谓是罗聘投向社会腐朽一面的一柄匕首或标枪。当然，这自然会招来部分人的嫉恨，所以当时就有一位罗聘的老乡、大盐商出身的程晋芳劝他：“斯图即奇特，洗手勿轻试。”说掩饰得再巧妙，终究会弄出麻烦来的，于是劝罗聘金盆洗手，赶紧回家。