有人认为，客家人最早是随着古代几次战争和时局动荡时期的移民潮，从北方迁移到华南的。他们的祖先是从今河南省、山西省迁移过来的，同时也带来了他们当时所在地语言的特色。客家人祖辈原是中原汉族。而现代客家语中仍在使用的许多古汉语语音特点，包括同样也能在其他南方方言（语言）中找到的字尾辅音[-p][-t][-k]，却在一些北方话中消失了。[11]
由于客家人的迁移，客家语会受到客家先民迁移到地区的方言的影响。例如，在客家语、闽南语和粤语中能发现许多共用词汇。例如：香港新界原居民的围头话（属于粤语）之用语“掌牛”（看管牛只），与客家语之“掌牛”（zong ngiu）相同。
发展
客家语在南宋时期便初步定型。其语音在继承古汉语的基础上，发生了有规律的音变。例如，中古汉语当中，“人”、“日”部的汉字声母（即日母），在今日普通话和大多数汉语方言里发为(r)，IPA[ʐ]，客家语则为(ng)，IPA[ŋ]或[ȵ]；“武”的中古汉语发音是[mvu]，客家语则音变为[vu]。