戰國以後，楚人的勢力開始深入湖北、湖南西部山區，約在戰國中期於當地設立巫、黔中二郡。《戰國策·楚策》記載：“楚地西有黔中、巫郡……地方五千裡，帶甲百萬，車千乘，騎萬匹。”楚襄王十九年，秦伐楚，楚軍敗，割上庸（今湖北竹山縣）、漢北（漢水以北）地予秦。二十年，秦將白起拔楚西陵（今湖北宜城），楚地日蹙。二十一年，白起又攻陷楚國郢都（今湖北荊州紀南城），殺戮頗慘，並毀掉歷代楚王陵墓，楚軍潰散，不能再戰，楚襄王遠逃淮北，楚人紛紛渡江逃入黔中郡和巫郡山區。楚襄王二十二年，秦軍攻破楚之巫、黔中兩郡，楚人乃逃入深山，與當地土著民族混居。明末顧祖禹在《讀史方輿紀要》中引晉人常林《義陵記》說“項羽弒義帝於郴，武陵人縞素哭於招屈亭”，可見在秦亡以後，今湖南、湖北西部的武陵山區確有大量的楚人聚居。現在在這些地區已經發現了不少戰國中晚期的楚人墓葬。至於湖南長沙等地的楚人，在楚亡以後，必然也有與當地土著民族混居的。

西漢以後，改黔中郡為武陵郡，當地土著民族被泛稱為“武陵蠻”，是今天苗、瑤、畲和部分壯族的先民。東漢以後，武陵蠻屢次反叛，甚至打到了長江北岸的楚國故都，荊州刺史劉度、南郡太守李肅等皆棄城而逃。東漢政府亦屢出重兵，征剿武陵、長沙諸蠻，名將伏波將軍馬援就是死於征剿武陵蠻的戰事中。西晉初，於荊州置南蠻校尉，亦名護南蠻校尉，管理荊楚土著民族，是為荒服。至南朝劉宋時，“宋民賦役嚴苦，貧者不復堪命，多逃亡入蠻”，使武陵蠻聲勢更為壯大，“戶口不可知也，所在多深險，居武陵（郡）者有雄溪、褭溪、辰溪、酉溪、舞溪，謂之五溪蠻”。“種眾特繁，依深傍岨，充積畿甸，咫尺華氓，易興狡毒，略財據土，歲月滋深”。劉宋時巴東、建平、宜都、天門四郡蠻為寇，諸郡民戶流散，百不存一，荊州為之虛敝，“自元嘉將半，寇慝彌廣，遂盤結數州，搖亂邦邑”，宋文帝“於是命將出師，恣行誅討，自江漢以北，廬江以南，搜山蕩谷，窮兵罄武，繫頸囚俘，蓋以數百萬計。至於孩年耋齒，執訊所遺，將卒申好殺之憤，干戈窮酸慘之用，雖雲積怨，為報亦甚。”（見《宋書·夷蠻傳》）殺戮之慘，於此可見。

迫於劉宋政府“搜山蕩谷，窮兵罄武”的軍事壓力，武陵、長沙諸蠻大批南遷。或向西南，入貴州，形成後來的苗、僮（壯族先民之一種）族群；或向東南，入江西，形成後來的瑤、畲等族群；仍然留居武陵山區的，後來形成苗族之先民。與武陵、長沙諸蠻混居的楚人後裔亦隨之播遷，進入江西南部，就形成客家先民。

遺傳學者李輝：客家話中含有相當多的苗瑤語詞彙，而很少有嶺南漢族常見的侗臺語詞彙。這些詞彙都是不常用的基本詞，不會是因為漢人借用苗瑤語，很可能是客家人最早的前身——古代的荊蠻族為了與漢人打交道，借用了大多數漢語詞彙，而儲存那些出現頻率不高的詞語。原始客家語並不是中原地區的漢族移民帶到南方來的，而是當地的原住民荊蠻人在學習漢語的過程中形成的混合語。在開始的時候，可能帶有更多的荊蠻話土語，後來受漢語的不斷影響，漢語的成分越來越多，就成了真正的漢語方言，只有少部分荊蠻土語還殘存在現代的客家話中。因此推測客家人最早的成分可能是荊蠻族，故而在客家人的遺傳結構中會有部分來自湖南、湖北的苗瑤成分。客家人的基因遺傳結構與其語言特徵相印證，提示這一民系可能是在荊蠻族的核心上加入漢族移民形成的。

客家話又稱為山哈話，客家人有“寧賣祖宗田，莫忘祖宗言”的祖訓。著名語言學家鄭張尚芳在分析了與客家話相當接近的浙南畲話後，指出浙南畲話不是畲族學的客家話，有可能是兩者都從湖南遷向廣東，畲族在唐代又遷到浙南，此過程中兩者都學了中國的南部官音。根據語言學家羅美珍、鄧曉華的研究，雖然客家方言與現代贛語方言相近，但客家方言除詞彙系統中保留了畲語的大量“底層”成分之外，其語序也明顯地受到畲族語言的影響，也顯示出其演變的瑤畲特色。

中山大學蔡貴慶、朱偉峰等人在《廣東梅州客家人起源的線粒體遺傳學分析》一文中亦指出：“廣東梅州地區的客家人線粒體 DNA Region V 9 bp 缺失頻率為0。2174，聚類分析顯示廣東梅州地區客家人與福建長汀客家人和中國南部人群有著較近的遺傳學聯絡。”又根據臺灣大學、廈門大學、暨南大學、汕頭大學和新加坡國立大學的相關基因檢測和研究，認為客家人和客家話的主體皆源於古代荊蠻，另含畲、瑤成份較高，客家人母系基因與畲、瑤等民族基本一致，在歷史形成過程中又混入漢族的父系血統。這裡所說的荊蠻就是楚國，王子朝奔楚。又唐白居易《晉諡恭世子議》：“周之衰也， 楚子以霸王之器，奄有荊 蠻 。

唐開元二十四年（736年）正式置汀州時，閩西地區土著苗、瑤、峒、蠻、山都、木客等仍處於極端落後的漁獵社會或刀耕火種的半漁獵半農耕社會，正如《太平寰宇記》所云：“山東採訪使奏於處州南山洞中置汀州，州境五百里，山深林木秀茂，以領長汀、黃連，雜（新）羅三縣。地多瘴厲，山都木客叢萃其中。”［宋史《太平寰宇記》卷102，《江南東道十四·汀州》］清楊瀾《臨汀匯考》亦云：“當（汀州）造治之初，凡斫大樹千餘，樹皆山都所居。天遠地荒，又是妖怪、獉狉如是，幾疑非人所居。”《臨汀匯考》雲：“唐時初置汀州，本土之苗仍雜處其間，今人呼曰畲客”。直到建州158年後的唐紹宗乾寧元年（894年），還發生過“黃連峒蠻二萬圍汀州”［《資治通鑑》卷259《唐記》75］事件。可見，唐代進入閩西地區的漢人並沒有多少，峒蠻勢力仍相當強大。

客家的口傳歷史記憶，即客家來自中原；這種說法極類似廣西壯族明清的土司譜諜，認為壯族祖先來自南京。顯然，反映的是一種附會的、虛構的歷史記憶，其本質是該族群的上層知識分子受“漢化”影響，希望認同中原漢族，改變族性身份。這種認同反映了一種文化適應的策略。

據史書記載，唐末流寇黃巢所部征伐嶺南，先入江西，破吉（今江西吉安）、虔（今江西贛州）等州，後又經大庾（今江西省贛州市大餘縣）走梅關古道，對章江沿線大規模燒殺擄掠，迫使江西南部的客家、畲、瑤等先民逃入贛閩粵三省毗鄰山區“完壘自守”，在當地形成“無山不住客，無客不住山”的遊耕局面。南宋末年，為了躲避元軍，又有相當數量的南宋遺民和宋軍殘部退入贛閩粵毗鄰山區，混入客家先民中，這在贛閩粵毗鄰山區各地方史志中都有記載。清雍正以後，由於生齒日繁，客家先民開始大量走出贛閩粵毗鄰山區，向四方遷徙，甚至遠涉重洋到達海外。