晋元帝司马睿闻知祖逖与石勒隔黄河分治，不由大为疑忌，遂对公卿重臣言道：如此以来，若祖逖坐大自治中原，割据兖、豫二州，不听朝廷调度，岂非汉末三分情景再现！
王敦：陛下可遣一员上将，出镇合肥，扼住长江口岸，以防祖逖反噬。
晋元帝深以为然，遂问：未知何人能胜此任？
王敦：臣荐戴渊，可当此重任。
元帝准奏，遂命戴渊为征西将军、都督司、兖、豫、并、雍、冀六州诸军事、司州刺史，引兵五万，出镇合肥，扼住祖逖南归之路。
祖逖闻此，对部将叹道：那戴渊虽有才望，却无远见卓识，朝廷如此分派，是来羁糜祖某之意也。我等辛苦收复河南，却不得朝廷信任，实在令人心寒。
其后不久，又闻王敦在朝中跋扈，唯亲是用，排斥异己，朝廷内斗日益尖锐。
祖逖至此长叹不已，复对心腹部将道：朝廷如此，某忧其内乱爆发，乃迟早之事。届时数年努力化为乌有，北伐大业终难成也。
部将闻言，无不唏嘘，怨怅朝廷。祖逖由是无计可施，以致忧愤成疾。虽患重病，仍图进取，抱病与诸将营缮虎牢城。
画外音：虎牢城北临黄河，西接成皋，向为军家必争之地。祖逖担心城南若无坚固壁垒，易被敌军分兵包抄攻破，遂派从子祖济率众修筑壁垒，欲使虎牢关隘如金汤之固，亦作为今后北伐屯兵存粮之所。可惜天不假英雄之寿，晋太兴四年，虎牢壁垒尚未修成，祖逖便在雍丘病逝，时年五十六岁。
祖逖死后，豫州百姓如丧考妣，谯梁之民为其修建祠堂，四时拜祭。
哀表报至建康，晋元帝亦感悯然，追赠祖逖为车骑将军，并命其弟祖约接掌其部众。
永昌元年，石勒因祖逖已死，遂令石虎再度率军南侵。
祖约不能抵敌，南渡退至寿春，豫州再入后赵势力范围。
石勒复又派兵，侵扰徐、兖二州。
晋征西将军戴渊驻守之军无力与抗，一触即溃，皆都步步南退，于是各坞垒堡主皆复向石勒归降。不到一年，祖逖所复国土尽丧。
石勒又派石虎攻灭青州曹嶷，尽有青州；便欲举兵南征，饮马江淮，平灭东晋。