在宜兴，岳飞收降了周边地区的多支盗匪以及金军强征来的河北伪军。岳飞在同乡的签军中有着很高的声望，伪军们都传话说“是岳爷爷的军队。”，纷纷过来投诚。岳飞麾下的军队逐渐扩充到了一万多人。而且随着战斗经验的增加，不但军队战斗力大增，岳飞及其麾下将领们的军事才能也都有了明显的进步。
当地百姓真心感激这支军队为他们带来了平安，出于对岳飞的敬爱，私下里开始将这支军队称为“岳家军”
三月，金军一部在劫掠了秀州和平江府之后，攻向常州。常州知州周杞探知这一情况，派岳飞的旧识赵九龄到宜兴县，请岳飞镇守常州。但在岳飞启程之前，胆小的周杞却已经放弃常州城，也赶到了宜兴。
于是岳飞便与周杞、赵九龄一起带兵北进，夺回常州，又尾随这支金军追袭于镇江府东边，再次取得胜利，但由于岳飞只带了几百骑兵先行，兵力不足，故而歼敌不多。
接下来岳飞又集中兵力剿灭了已经沦为盗匪的昔日同僚戚方，并成功将其俘虏。以戚方的罪行本该处死，但考虑到眼下还是战乱之世，岳飞看重他的将才，便赦免了他的罪行，并将其收为己用。
由于合并了戚方的人马，“岳家军”也因此继续扩充，兵力超过了一万五千人，而在连续不断的艰苦战斗中，“岳家军”中的核心“背傀军”（其实一般写作背嵬军，这样写是为了与韩世忠麾下的相区别，而且打字也方便＝。＝）也开始逐渐成型。
赵构回到越州后，任命张俊为浙西路江东路制置使，让他暂时节制东军所有军队，以尽快收复建康。张俊不愿自己的部队付出过大的伤亡，也没有必胜的把握，便将这份苦差事交给了岳飞。
就在兀术成功北逃的同一天，岳飞率军在位于建康城南三十里的清水亭首战大捷，金兵横尸十五里，获得耳戴金、银环的女真人头一百七十五级，活捉四十五人。其后由于兀术北去，滞留江南的金军失去了统一的指挥，岳家军又在牛头山等地多次告捷。
五月十日，岳飞率军在龙湾取得了宋金交战以来前所未有的大胜，光是斩杀的蕃兵就超过了三千，还俘虏了二十多名蕃人军官，此役之后江南金军残部基本被肃清，岳家军由此收获了经验和信心，迅速成长为一支威震天下的赫赫强旅
在这些战斗中，刚刚从河北老家逃出与父亲重逢的岳云，因其武艺精通、勇猛过人，被岳飞立即编入了军队，归自己刚刚提拔起来的小将张宪统辖。岳云的一对铁锥枪重达八十来斤，可刺可砸，兼具钝器的威力与锐器的灵巧，一时间所向披靡，但岳飞却多次瞒报其功绩，挤兑部将不好邀功，以牺牲儿子利益的方式来减少全军的开支
建炎四年，韩世忠和岳飞先后给予金军重创，令宋军将士倍受鼓舞，也沉重地打击了金军不可一世的嚣张气焰。而原本来源复杂的乌合之众南宋东军，其实力日益壮大，逐渐成为了南宋政权的主要支柱。
不过，南宋现在虽然取得了一系列的胜利，但都是在自己的土地上打的反击战，金人在战略上仍然占据着绝对的优势。且不说目前中原与江淮地区仍然被金军占据，南宋内部也是问题重重，尤其财政危机更是到了迫在眉睫的地步。
南宋建立以后，外有金军进逼，内有盗匪作乱，朝廷能够实际控制的地域小得可怜，而这点地盘在金军这次“搜山检海”的大冒险中又被彻底地洗劫了一遍，如今江南不少地区等朝廷救济还来不及，哪儿还能交得起赋税啊？