永嘉之乱后，中原地区落入匈奴贵族之手。祖逖上书琅邪王司马睿，要求北伐，收复失土。永嘉七年(公元313年)，祖逖率宗族部曲渡江北上，在江阴铸造兵器，召募训练士兵，队伍扩展有二千余人。遂率军向今安徽、河南地区进发，得到各地人民支持，先后战败石勒、石虎军队，胜利进军至陈留(今河南开封东)、封丘一带。时司马睿已称帝，恐祖逖势力强大，难以控制，派戴渊任总领北方六州诸军事，牵制祖逖，阻止北伐。祖逖深感北伐无望，忧愤成疾，大兴四年(公元321年)，病死于雍丘(今河南杞县)。祖逖死后，原来收复的地区又相继失去。

祖逖(266—321)，范阳遒县(今河北涞水北)人，北州大族，官太子中书舍人。早在西晋时，就从惠帝北伐，兵败后，退居洛阳。西晋末，京师大乱，祖逖率亲族流移至京口，其代表南迁人民怀念故土的愿望，早在东晋建立前，就向司马睿请求北伐，被命为豫州刺史，给其一定精绢布匹，令其自筹人马、自制兵器进行北伐。建兴元年(313年)，逖率部渡江，誓清中原。在淮阴募得二千余人，向北进攻，进驻谯城(今安徽亳县)，挫败石虎的围攻，又进屯雍丘(今河南杞县)，收附河南一带坞主赵因、上官己、李矩、郭默等力量，壮大了实力。祖逖与士兵同甘同苦，北伐取得一定的成效。收复黄河以南地区，使石勒不敢窥兵河南。在收复地区他劝课农桑，练兵屯谷，积极为进军河北作准备时，晋元帝任命戴渊为征西将军，对其进行牵制。加上晋室内部权力纷争迭起，祖逖知北伐无望、忧愤成疾。于太光四年(321)病逝于军中，石勒复占河南，晋军退还淮南，北伐遂告失败。