由于是只孤军，岳家军给养困难。转眼间已是建炎四年初春了，岳飞却不能提供最低限度的衣食之类，供土兵们辞旧迎新之用。因饥寒所迫，有的兵士甚至违令私出抢掠。
有人向岳飞建议移屯常州宜兴县（今江苏宜兴市）。宜兴知县钱谌等人闻知岳飞之威名，也特地写信给岳飞，欢迎他率军保护县境，并说县里的存粮足供一万军人吃十年。
宜兴县东临太湖，北通常州，西面又逼近建康府通临安的大道，确是进可攻、退可守的军事基地。二月，岳飞统军进驻宜兴县，将兵营屯扎在县城西南的张褚镇。
原江、淮宣抚司水军统制郭吉转当土匪后，也盘踞于宜兴县。岳飞派人投信，以好言抚慰，约他共同抗金。郭吉却急忙带一百艘船，满载财物逃跑。岳飞闻讯后，命令部将王贵和傅庆领二千人追击，俘获了郭吉的几乎全部的人和船。傅庆是卫州窑户出身，他原是刘光世部将，在马家渡之战后追随岳飞。两人都是能征惯战的勇将，成为岳飞的左右手。
在宜兴县境，尚有三支土匪。马皋和林聚各有几千人，岳飞派遣辩士劝降，得到了成功。另一支土匪，头目号称张威武，不肯投降。岳飞单骑闯进他的巢穴，乘张威武惊愕之际，将他斩死，并收编了其全部人马。
在内祸外患交迫的岁月里，广大民众的生命财产朝不保夕。居然进驻了一支与众不同的军队，对民间秋毫无犯，这不能不使宜兴人民喜出望外，交相称誉，人们用朴素的语言称颂岳飞，说：“父母生我们比较容易，将军卫护我们却比较艰难。”
甚至很多外地人也争先恐后，移居宜兴县避难。按中国古代的隆重礼节，宜兴人民出资为岳飞建造生祠，以表达大家感激之情。古代的祠庙用于尊崇先贤、祖宗，以至神仙鬼怪之类，为活人营建生祠，乃属特例。当地民众简直将岳飞尊奉为神人，这在古史上是少见其例的。
岳飞对待河北、河东等地的金人征发的汉人军队，一贯将他们视为自己的骨肉同胞，不歧视，不苟待，尽量做争取工作。于是“岳爷爷”的声名远播，成千上万的人争先恐后地前来降附。
在降官如毛、溃兵似潮的逆流中，岳飞卓尔不群，他以必胜的信念，顽强的毅力和恰当的措置，发展和壮大了自己的队伍。
这个二十七八岁的青年统制开始担任主将，他按照自己的意图和风范，塑造一支抗金劲旅。后来，人民称这支雄师为“岳家军”。
著名爱国诗人陆游诗云：“剧盗曾从宗父命，遗民犹望岳家军。”岳家军当时尚不是一支大部队，无力挽狂澜于既倒；但在江南的抗金战场上，已不愧为中流砥柱。