上虞虽为河姆渡文化和古越文化的核心区域之一，但与长江三角洲地区的极大多数居民一样，其真正意义上的“土著”少而又少，大多数为外来移民的后裔。自秦至南宋，上虞经历了三次较大规模的外来移民迁入。一是秦始皇统一六国后，曾将一批中原移民迁至杭州湾南岸绍兴、上虞一带；二是东晋和南朝期间，随晋室南渡的琅琊王氏和陈郡谢氏两大家族从建康南迁江南，绍兴和上虞一带成为王、谢两氏的聚居地；三是南宋建都临安(杭州)，绍兴成为陪都，南宋皇室在绍兴居住达一年零八个月，南宋政权统治者、文武官员、军队、随从等大量从北方迁入。此外宋将焦光瓒率部降金，宋室贬其部率为“堕民”，迁入浙江境内的“堕民”大都集中在绍兴、上虞、嵊州一带。从这个意义上来说，上虞的人文和文化除了以越文化为底蕴外，很大程度上也是与外来的北方文化、中原文化南北融合、互相掺入的产物。事实上这恰恰也是上虞人文和文化的活力所在。