始得诸王重视，先后效力于齐王司马冏、长沙王司马乂、豫章王司马炽，历任大司马府掾属、骠骑将军府祭酒、主簿、太子中舍人、豫章王府从事中郎。
永兴元年，东海王司马越伐成都王司马颖，祖逖随军出征，荡阴战败，逃回洛阳。适遇母丧，遂守孝不出。
永嘉五年，洛阳陷落，祖逖率亲族乡党数百家南下，避乱于淮泗。逃亡途中多遇盗贼险阻，祖逖应付自如，故被同行诸族推为行主，皆奉号令。到达泗口之后，祖逖被琅琊王司马睿任命为徐州刺史，不久又被征为军谘祭酒，率部屯驻京口。
建兴元年，晋愍帝即位，命司马睿率兵赴洛阳勤王。祖逖进言请令北伐，司马睿不便反对，遂命祖逖为奋威将军、豫州刺史，使其自募战士，自造兵器，趁时北渡。
闪回结束。祖逖率宗族部曲百余家，毅然从京口渡江北上，击楫中流，立誓要扫清中原。渡江后驻于淮阴，起炉冶铁，铸造兵器，又招募士兵二千多人。
兖、豫豪强张平、樊雅占据谯城，聚坞自保，有兵数千，表面臣服司马睿。祖逖进驻芦洲，派参军殷乂去联络张、樊二人。
殷乂来至谯城，见二人兵少且军容不盛，意存轻蔑，言语倨傲。
张平怒杀殷乂，由此拥兵固守，与北伐军对抗。
祖逖攻城不下，遂用离间之计，引诱张平部将谢浮叛反。谢浮应之，遂借商讨军情之机杀死张平，率众归降。祖逖由此进据太丘，但因军中乏食，处境艰难。
正当此时，樊雅为与张平报仇，率众夜袭祖逖大营，军中大乱。
祖逖沉着指挥，督护董昭英勇杀敌，击退樊雅。祖逖率部追讨，遭到张平余部迎击，便向蓬坞堡主陈川、南中郎将王含求援。
陈川、王含分别派部将李头、桓宣率军助战，与祖逖合兵，并听其节制。祖逖因桓宣与樊雅有旧，遂令其去劝降樊雅。
桓宣单人匹马请入谯城，对樊雅说道：今祖逖奉天子明诏，顺江北民意，欲荡平石勒，需仗公为后援，共成大功。先前殷乂轻薄无礼，得罪张平将军，并非奋威将军祖逖本意。今祖将军委某前来，公若趁机与之和解，共襄国难，则上可为国建勋，下能保全富贵。公若固执，一旦朝廷派出猛将来攻，凭我兄手下乌合之