胡以晃故居坐落于今广西平南县官成镇新平村罗文屯，距县城约30公里。故居为其父亲胡琛建造，始建于1813年（清嘉庆十八年）。房屋依山而建，坐西北朝东南，原主体二进三开间，左右有附屋，砖木及夯墙结构，悬山顶。原有房15间，现尚存正厅、厢房等5间，面宽25.7米，进深8米，建筑占地面积205平方米。主体为打磨的青砖夹泥砖筑砌，有廊柱，柱顶架斗拱，檐墙有彩色壁画。
罗文村是平南路三里的一个村庄，村前是一片开阔的盆地，四面高山环抱，小溪从村中穿过，流水潺潺，河上搭建有桥梁，山清水秀，颇有“小桥流水人家”的景致。胡以晃祖籍为江西省临江府新喻县，明末清初，其太高曾祖父胡其灼迁居平南县八峒，到高曾祖父胡斌时，再迁罗文村。由于其灼善于钻营，乘瑶民“四野奔散”之机，广置山场田地，故很快便成了当地的“山乡巨富”。
胡以晃高曾祖母覃氏墓，现仍立于平南县官成镇新平村高帝屯独牙蜈蚣山南面。该墓葬于清乾隆初年，清咸丰初年被清军挖掘破坏，1861年（清咸丰十一年），重新修葺并立碑。其坐北朝南，为半球形墓冢，占地面积138平方米，原为砖墓，现只有墓门残留青砖。墓门左面墓碑高96厘米，宽63厘米，碑文共182字，字径大的4.7厘米，小的2.5厘米，对胡氏家世的记述甚为清晰，是研究太平天国豫王胡以晃的重要实物资料。
进入平南的胡氏发展至第四代，家族财势更为显赫，以晃祖父胡赞运和叔祖父胡嗣运，一个声称“富至粮租五百余石”，一个夸耀“膏亩粮租千石”。到父亲胡琛时，由于其善“操胜算，展鸿图”，占有田地5000多亩，年收粮租竟达48万斤，这一财富量级不仅使其“家震声扬”，而且成为“雄霸一方”的人物，“通称豪富杰绅”。
胡以晃（1812—1856），字杏云，兄弟三人，他居老二，小名胡二妹。1821年（清道光元年），“家本素封”的他却遭遇了父亲去世、家道中落的变故，他9岁就成了孤儿，主要靠收取名下田地四五万斤的粮租生活。长成后，他“曾应童子试”，考中了武庠生，即武秀才。在赴省城应科时，“才艺压场，本选高魁，惟尾场大弓所误，顿虚虎榜题名”。因乡试落第，功名不就，加上在分家产时，兄弟之间又有过节，此外，还受到八垌公福社有钱有势的卓氏的打击和排挤，他心灰意冷，萌生退意。1839年（清道光十九年），27岁的他悄然离开了罗文村祖居，独自“迁大同里山人村结造庐舍”，并在这个僻静的小山村里，过起了深居简出的生活。
1845年（清道光二十五年），冯云山进入紫荆山“布道聚众”后，也经常跨越鹏化山区开展传教工作，胡以晃家资富有，“慷慨好客，仗义疏财，有侠士风”，正是他物色的重点对象。1847年（清道光二十七年），冯云山亲赴山人村，登门造访，而此时的胡以晃正处于心情压抑、郁郁不得志之中，经冯云山的一番劝说开导，他很快就接受洗礼，加入了拜上帝会。
皈依新教后，胡以晃开始变卖田产，资助拜上帝会开展活动。“群逆常聚食其家”，他传教活动的范围从大同里、鹏化里，逐步扩大到金秀瑶山以及藤县大黎山区，成为平南、藤县一带拜上帝会的首领。金田起义时，他已超过40岁，虽是首义主要领导人中年事最长者，但冲锋陷阵，所向有功，亦荣列太平天国“五虎上将”之一。1851年（清咸丰元年）底，太平天国在永安封王，他受封“春官正丞相”。1854年（清咸丰四年），又被褒封为“豫王”，成为太平天国前期八王之一。
1977年8月和1981年10月，其故居及高曾祖母覃氏墓碑先后被公布为平南县文物保护单位。