太平军北伐失败
太平天国时期战乱流民图
反映土客族群矛盾的电影《海囚》剧照
提到金田起义，就不能不谈及“来土之争”，就在上帝会的“团方”（团营的暗语，方影射“圆”）开始由绝密变半公开的当口，一场规模浩大的“来土械斗”爆发了。
所谓“来”，即指客家，而“土”则是原籍广西的汉、壮等族。
广西除了桂北的全州、兴安、资源和桂西北的凤山4县，其余府州县都有客家人分布，而上帝会活动集中的桂中、桂东一带，则以清代康熙、乾隆期间从广东嘉应州等地迁来、源出福建宁化石壁洞的客家族为主。
两个族群间的矛盾，因为地方政府的错误措施而扩大成群体纠纷，最后酿成太平天国。对清政府来说，不可谓不是一个值得反思的严重教训。
钢刀挥向争食的“异类”
客家人农耕技术远比“土人”先进，且素以吃苦耐劳著称，但毕竟是后来者，当地又是平地少、山地多的贫瘠所在，肥沃宜耕的平地基本被“土人”占据殆尽，客家人只能跑进人烟罕至、荆棘丛生的深山，与早先被“土人”赶上山的瑶族、苗族等为伍（当地有瑶族山歌云“官占平地汉占坡，瑶人赶进山窝窝”）。
这些山区内虽也有可供开垦的平坝、盆地，但地形恶劣、土质贫瘠，有些地方甚至交通不便到要“背牛犊”的地步（用背篓把小牛犊背上山，等长大后用于耕地，因路途不便，这些“背牛”到死也下不了山），客家人充分发挥其能吃苦、善耕种、男女都能下地干活的传统，经过几代人的努力，把一片片昔日的荒地变成良田，同时还兼营商业、烧炭、养殖和其它副业，其中一部分人逐渐富裕起来，开始“下山”，购买土人的田宅，寻求在更宜居的地方，过更好的生活。
这样一来，他们就和平地原来的主人—“土人”发生了矛盾。
在“土人”看来，这些“来人”不安分守己在老家呆着，跑到广西寻食，已是大大的不安分；既然来了，就该死心塌地蹲在山沟沟里，跟自己井水不犯河水，如今这些“外人”竟然仗着有几个臭钱，跑来跟土生土长的自己争农地、争宅子、争圩镇，甚至争坟地，实在是是可忍孰不可忍。一些“土人”绅士开始倡议“乡规民约”，禁止向“来人”出卖田宅，试图用这种方法限制客家人的发展。但毕竟没有不透风的墙，一些家道中落的“土人”禁不住高价诱惑，向客家人出售土地、房屋，这又常常激怒绅董、族长，引来“乡规民约”的处罚，甚至激起来土两族间的冲突。
“来人”和“土人”另一个容易生事的“热点”，是宗教。