当初,范阳人祖逖,年轻时就有大志向,曾与刘琨一起担任司州的主簿,与刘琨同寝,夜半时听到鸡鸣,他踢醒刘琨,说:“这不是令人厌恶的声音。”就起床舞剑。
渡江以后,左丞相司马睿让他担任军咨祭酒。祖逖住在京口,聚集起骁勇强健的壮士,对司马睿说:“晋朝的变乱,不是因为君主无道而使臣下怨恨叛乱,而是皇亲宗室之间争夺权力,自相残杀,这样就使戎狄之人钻了空子,祸害遍及中原。现在晋朝的遗民遭到摧残伤害后,大家都想着自强奋发,大王您确实能够派遣将领率兵出师,使像我一样的人统领军队来光复中原,各地的英雄豪杰,一定会有闻风响应的人!”
司马睿一直没有北伐的志向,他听了祖逖的话以后,就任命祖逖为奋威将军、豫州刺史,仅仅拨给他千人的口粮,三千匹布,不供给兵器,让祖逖自己想办法募集。祖逖带领自己私家的军队共一百多户人家渡过长江,在江中敲打着船桨说:“祖逖如果不能使中原清明而光复成功,就像大江一样有去无回!”于是到淮阴驻扎,建造熔炉冶炼浇铸兵器,又招募了二千多人然后继续前进。