岳和这一家，本是个自给自足的中等农民家庭，但是不幸的是无情的洪水淹没了他们的农田，家产损失极其严重，从此沦为佃户，全家的生活立刻就变得捉襟见肘。几年以后，岳飞添了一个弟弟岳翱，家计就更加艰难了。这时候的岳飞虽然年幼，但是已经担当起了家庭的一部分责任，他很小的时候就跟随父亲下地劳动，挖土、打柴……沉重的农活使得他对农民的艰难深有体会，也让他的性格质朴浑厚。这影响了他的一生。
岳和夫妇在晚年喜得两个男孩，但是，他们从不放纵孩子，而是“鞠育训导”，既有温暖的抚爱，又有严肃的管教。姚氏作为慈母，更是深明大义，克尽己责。
少年的岳飞，从他能够劳动之日起，就经常到野地里去拾柴割草，供作烧饭和饲养牲畜之用。小岳飞非常喜欢读书，每到晚上便缠着母亲教自己读书认字，并讲述一些历史上英雄人物的事迹。岳飞的记忆力很强，理解力也不凡，凡他读过的书和听过的故事，不但都能牢记不忘，而且也能从中体会出某些道理。
可由于家里实在太穷，根本就买不起笔墨纸张。所以没有办法写字，这一度让小岳飞十分伤心，岳母对于孩子的勤奋看在眼里，记在心里，为了能给岳飞买笔墨纸张，岳母常常不分昼夜地做针线活，希望能够多攒一点钱给小岳飞买纸和笔。
为了减轻母亲的负担，小岳飞经常帮助母亲上山砍柴，换钱贴补家用。有一天，天快黑了，很多孩子在一起玩游戏，他们远远看见岳飞背着一捆柴火下山来了，就喊他过来一起玩。岳飞看见朋友们用树枝在地上画格子做游戏，受到了很大的启发，于是匆忙地告别了朋友们，赶回家中。
岳飞回到家中之后便迫不及待地告诉母亲自己有了纸和笔，母亲很是迷惑，小岳飞赶忙从家中拿出簸箕端了满满一簸箕沙土，然后把沙土倒在地上弄平，拿着柳条在沙土上画着，并告诉母亲：这样我就可以写字了！
自此之后，岳母便经常在空暇的时间用树枝教小岳飞练字，小岳飞非常珍惜时间，经常是同伴在玩的时候，他在家里刻苦地练习写字，通常是写完了抹平沙子之后重新开始。经过刻苦练习，岳飞的学识不但有了很大的长进，而且练就了一手刚劲有力的好字。