畲族原分布在闽、粤、赣三省结合部。元、明、清时期，从原住地陆续迁徙到闽东、浙南、赣东、皖东南等地山区半山区。“山哈”是指山里客人的意思。先来为主，后来为客，先来的汉人就把这些后来的畲民当为客家人。畲族自称“山哈”，是与他们的居住环境、迁徙历史有关。

  “畲”字来源于“畲',来历甚古（畲畲这两字使用非常混乱）。在《诗》、《易》等经书中就已出现。“畲”字读音有二，读yú(余)，指刚开垦的田；读shē(奢)，意为刀耕火种。“畲”字衍化为族称，始于南宋时期。据刘克庄《漳州谕畲》载：“民不悦(役)，畲田不税，其来久矣”，“畲，刀耕火耘”。“畲”作为族称，是由于当时畲民到处开荒种?的游耕经济生活特点而被命名的。 因此《龙泉县志》说：“(民)以畲名，其善田者也”。“輋民”名称也出现在十三世纪，文天祥《知潮州寺丞东岩先生洪公行状》说：“潮与漳、汀接壤，盐寇輋民群聚”。“輋”音shē，是广东汉人俗字。“輋”字作何解?顾炎武《天下郡国利病书》云：“粤人以山林中结竹木障覆居息为輋”。显然，以“輋”字作族称是侧重于居住形式，指在山里搭棚而居的人群。“輋”的含义虽与“畲”有差异，但非指两个不同的民族，也不是指同一民族的两个不同经济发展阶段，而是前者指福建畲族，后者指广东、江西畲族，这是由于汉族文人对闽、粤、赣畲族经济生活观察的侧重点不同而出现的异称。

  宋末元初，各地畲民组织义军，加入抗元斗争的行列，《元史》中又出现“畲军”、“畲丁”等名称。明、清时期，闽、浙各地方志以“畲民”、“畲人”和“畲客”等称畲族的非常普遍，粤、赣各地方志以“輋户”、“輋蛮”和“山輋”等称畲族的也比比皆是。清代以降，由于许多人不了解畲民的民族成份，还有以“苗族”、瑶族”、“瑶僮”和“苗民”等称呼畲族的。

  总之，史书对畲族的族称记载相当混乱，称呼也因时因地而异。新中国建立后，政府对畲族的族称问题十分重视。经过商议，改“畲”为“畲”（取“人一一小田”的“畲”为族称，意为新中国每个族人都拥有了那一片小小的天地）。1956年由国务院正式公布确认，畲族是一个具有自己特点的单一的少数民族。从此，“畲族”(写作“畲”，音shē)成为法定的族称。

  畲族的民族来源说法不一，有人主张畲瑶同源于汉晋时代长沙的“武陵蛮”(又称“五溪蛮”)，与瑶族同源，持此说者比较普遍。7世纪初隋唐之际，畲族就已居住在闽、粤、赣三省交界闽南、潮汕等地、宋代才陆续向闽中、闽北一带迁徙，约在明、清时始大量出现于闽东、浙南等地的山区。江西东北部的畲族原住广东潮州府凤凰山，后迁福建汀州府宁化县居住，大约在宋元之后至明代中叶以前迁到赣东北居住。安徽的畲族约在100年前从浙江的兰溪、桐庐、淳安等县迁来。各地畲族都以广东潮州凤凰山为其民族发祥地，传说他们的始祖盘瓠就葬在这里，并认为妇女的头饰扮成凤凰形式，就是为了纪念他们的始祖。在畲族中，广泛流传着属于原始社会图腾崇拜性质的盘瓠传说，传说他们的始祖盘瓠因为帮助皇帝平息了外患，得以娶其第三公主为妻，婚后迁居深山，生下三男一女，长子姓盘，次子姓蓝，三子姓雷，四女姓钟，子孙逐渐繁衍成为畲族。这个传说不但家喻户晓，而且载入族谱，绘成连环式画像，称为“祖图”，在节日里悬挂出来举行隆重的祭祖仪式，祀奉甚虔。每一家族有一根祖杖，祖杖雕刻作龙头，这也是畲族图腾的主要标志。畲族居民现在仍以盘、蓝、雷、钟为主要姓氏。盘瓠传说、盘王图腾以及蓝、雷、钟三大姓亦与瑶族相同，因此自古畲族的他称和部分自称中都有“畲瑶”、“瑶”、“瑶家”、“山瑶”、“瑶人”等等跟瑶族密不可分的称呼。

  隋唐之际，聚居在闽、粤、赣三省交界山区的畲族先民已经从事农业生产和狩猎活动。他们在极其艰苦的环境下拓荒殖土。到了唐代，中央王朝在畲族先民聚居的福建漳州、汀州一带施政，并实行辟地置屯等一系列发展经济的措施，使畲族山乡经济得到了进一步发展，畲汉两族之间的关系日益密切。唐王朝在漳、汀地区的建政，大大加速了畲族封建化的过程。封建统治者加深了对畲族人民的剥削和压迫，而且还实施一系列民族歧视政策，把他们视为“化外之民”。

  畲族族源歧见很多，但概括起来有外来说和土著说两种。外来说者认为畲族源于汉晋时代的“长沙武陵蛮”。持这种观点的主要论据是“武陵蛮”和畲族有共同的盘瓠图腾信奉。

  土著说者认为畲族源于周代的“闽”人。“闽”是福建的土著，福建最早的主人，其遗裔就是今天的畲族。“闽”、“畲”之间存在着一定的渊源关系。此说的主要论据是“闽”、“畲”之间有着密切的内涵联系，即“闽”——“蛮”——“僚”——“畲”一脉相承。畲族，福建土著民族。

  此外，畲族族源还有“越族后裔说”、“东夷后裔说”、“河南夷的一支”和“南蛮族的一支”等多种说法。总之，众说纷云的畲族族源反映了畲族在其历史曲折发展和民族形成过程中，同蛮、越、闽、夷以及汉等各族群体彼此互动、混化、交融的关系。 清代粤东的畲族人大量汉化，成为客家人的主要组成部分之一。