相传东汉章帝年间北匈奴进犯南匈奴及汉朝领地时，吕布祖父吕浩奉命留守边塞。
吕浩携妻儿率部驻扎五原郡地，定址北河南岸五原县塔尔湖五分桥东，大兴土木，建城筑堡，开荒农耕，并逐步发展畜牧业，纺织业，冶炼治陶业等，固守边关。
吕布祖父去世后，其父吕良继任，娶妻黄氏，系五原郡补红湾人，是一大户富豪财主之女。黄氏聪明贤惠，知书达礼，善染织。
黄氏生有四女，苦于无子。
一日，随夫到白马寺庙拜佛求子。归来当晚，黄氏得一梦，梦见有一猛虎扑身而来，黄氏见状急唤丈夫赶打，老虎却温顺地卧于身旁。
不日黄氏身感有孕，怀孕十二个月未见生产，百感焦虑。
后来，黄氏移至染织作坊，突然屋外人声大嘈。众人纷纷出外观之，但见西北上空彩虹映现，光彩夺目，此景奇异。随之五原山地崩裂，地动山摇。
黄氏欲生，身感不适，腹中疼痛难忍，盆骨闷胀，羊水外溢，寸步难行，随卧于布匹之上，不久产生一男婴。
男婴出世更为奇事，但见脐带自断，双目有神，两拳紧握，站立面前，黄氏惊奇，急擦去污物抱于怀中。
后说与丈夫，吕良心中大快：“吾儿神也。”因出生布上，故起名吕布。
吕布从小随母习文作画，聪慧好学，一点就通，过目不忘，他生性好斗，力大过人，喜舞枪弄棒，身高体重超出常人，同龄孩童都不敢和他玩耍，视而远之，唯有同女孩在一起温顺体贴，判若两人。
吕布却总喜欢和大人们在一起，问这问那模仿学习。从五岁起常随牧马人野外放马，并喜爱马，只要一见马精神十足，兴奋的不得了。
他骑在马上手舞足蹈，手持一根木棍酷似一名勇士，那时他能持棍刺击野鸡野兔。
七岁时，单独骑马追击野