历史上真实的李卫并不是出身于市井的小混混，而是江苏丰县一家家境比较富裕的人家。康熙五十六年，李卫花钱捐了一个官。《清史稿·李卫传》载：李卫“入赀为员外郎，补兵部。康熙五十八年，迁户部郎中。”

据《小仓山房文集》载，李卫在户部供职期间干了一件让当时还是亲王的胤禛刮目相看的事：当时分管户部的一位亲王每收钱粮一千两，加收平余十两。李卫见状当然是为百姓做主，但又不好直接与亲王为敌，因此他先是劝亲王收手，但李卫屡次谏阻都不听，李卫只好与他对着干了，不畏权贵，于是在走廊上置一柜，写着“某王赢钱”，使这位亲王十分难堪，只好停止多收。雍正十分看重李卫“勇敢任事”的优点，一继位就任命李卫为云南道盐驿道，次年擢升为布政使掌管朝廷重要税源的盐务。

李卫不识字，却能做一个好官，因为他嫉恶如仇，头脑机灵，敢爱敢恨，为民做事。大字不识 由于李卫的官是捐来的，并不是科举出身，所以他大字不识几个。他的师爷等人起草公文奏章，都要读给他听，有不合意的地方，他就口述修改，而且往往能切中问题要害，对此大家佩服得五体投地，总以为有神相助。李卫的过人机智由此可见一斑。李卫在公干之余喜好听人说书，每遇到忠贤遭到不平，李卫就会呜咽、愤恨，甚至拔剑而起。

因为自己不识字，为百姓做事不是总能恰如其分，有时要花费比别人多得多的功夫与力气，正因为自己识字不多，所以李卫对文人、对文化事业非常看重。建学校，鼓励学生读书这些事他都做过。历史上记载，他曾出钱修过浙江通志，建过书院，给在读士子以丰厚的膏火钱。