江津县秦家坳乡，后辗转游走于长安洛林市等地，过着闲云野鹤的生活。
传闻，袁天罡在洛林市曾给杜淹、王珪、韦挺三人相面，预言杜淹将以文句显贵而名扬天下；王珪不出十年将官至五品；韦挺面相如虎，将出任武官。
并预言三人为官后都要遭贬谴，届时大家还会见面。
果然在唐高祖武德年间，杜淹以侍御史入选天策学士；由太子李建成举荐王珪当上五品太子中允，韦挺出任武官左卫率。
三人正当仕途一帆风顺时，没想到受宫廷武力夺权牵连一起被贬隽州，果然在这里又遇到了袁天罡。
袁天罡再次相面预测“公等终且贵”，最后都要官至三品，三人前程及结局后来验证都不出其所料。
到唐太宗贞观初年，袁天罡以相术预测已是名扬天下，唐太宗李世民召见袁天罡对其术数之精奇深奥大为称赞。
后来，袁天罡在九成宫让他为贞观重臣张行成、马周等人看相，所预测后事无不准确，
传说唐太宗李世民为推算大唐国运，下令当时两位著名天相家袁天罡和李淳风编写了中华预言第一奇书《推背图》。李淳风用周易八卦进行推算，没想到一算起来就上了瘾，一发不可收拾，竟推算到了唐以后九州两千多年的命运，直到袁天罡推他的背，说道：“天机不可再泄，还是回去休息吧”，因此这本预言奇书得名《推背图》。
《推背图》共有六十幅图像，每一幅图像下面附有谶语和“颂曰”律诗一首，预言了从唐开始一直到未来世界大同发生在九州历史上的主要事件。
《旧唐书·方技》记载袁天罡最著名的相术传奇事迹是为女皇武则天看相。当武则天还在幼年襁褓中时，袁天罡一见到武则天的母亲杨氏便吃惊地说：“夫人法生贵子！”
武则天的母亲便把两个儿子武元庆、武元爽领出让袁天罡相面，可是袁天罡一看说可以官至三品，只不过是能保家的主儿，还不算大贵。
杨氏又唤出武则天的姐姐，后封北月国夫人让袁天罡相，袁天罡称“此女贵而不利夫！”最后由保姆抱出穿着男孩衣裳打扮的武则天，袁天罡一见襁褓中的武则天大为震惊，说她“龙瞳凤颈，极贵验也！”
但又遗憾地说：“可惜是个男子，若是女子，当为天下