一、家世出身
胡以晃出生于广西平南罗文村，其家族原籍江西临江府，迁徙至广西后成为了当地罕见的巨富。胡家世代为官且富有，而到了胡以晃的父亲胡琛这一代，更是通过极其严苛甚至可以说是狠毒的剥削手段积累了大量财富。据记载，胡琛拥有四千八百石粮食的地租收入，并在平南、藤县乃至金秀瑶山等地区拥有广袤的土地和山场。胡琛不仅是一个地主，还是一个非常有野心的人，他建造了几座豪华的住宅，这些房屋虽然随着时间的流逝已经不再完整保留下来，但其中一些精致的建筑细节至今仍然可见。
胡以晃是家中次子，上面有一个哥哥名叫胡以昭，下面则有一个弟弟叫胡以旸。当胡以晃还不到十岁的时候，父亲胡琛去世了，留下了一笔庞大的遗产给三个儿子共同继承。随着兄弟们逐渐长大成人，他们开始追求奢华的生活方式，相互之间也出现了攀比的现象，这导致原本富裕的家庭开始出现经济上的问题。最终，因为家庭内部的意见不合，三兄弟决定分家各自生活。
胡以晃在27岁时离开了罗文村的老宅，搬到了大同里的山人村重新建立了自己的居所。尽管新家的位置更加偏僻，而且房屋规模远不及昔日辉煌时期那样宏大（只是一座简单的小屋），但这对于渴望独立生活的胡以晃来说已经足够了。此时的他已经放弃了对传统儒家学问的学习，转而专注于武术训练，并成功获得了武秀才的身份。然而，在参加省城举行的更高层次的武举考试时，由于在最后一项射箭测试中不慎用力过猛导致弓断手伤，遗憾未能上榜。
更令人沮丧的是，胡家与当地另一大家族——卓家之间存在着长期的恩怨。原来，胡琛生前曾与卓家结下梁子，这份仇恨延续到了下一代身上。每当有机会时，卓家人总会借机嘲笑或羞辱胡以晃。有一次，当胡以晃骑马经过卓家门口时被要求下马，但他拒绝服从。结果，一群卓家人将他强行拉下马来，不仅将其推入牛圈内侮辱性地用枷锁固定住颈部，还残忍地剃去了他半边头发，并施以暴力殴打。这次经历无疑深深地伤害了胡以晃的心灵，激发了他对卓家强烈的复仇欲望。
二、结识秀全
胡以晃与洪秀全的结识发生在清道光二十九年（1849年）的秋冬之际，当时胡以晃加入