托尔斯泰兄弟是一群衣食无虑的大少爷，是拥有约700个农奴的大领主，也是贵族家庭的子女，家里的仆从就有数十个，还雇有家庭教师陪着他们读书，还有两辆自用的马车。就物质条件而言，他们可说是置身于上流家庭中的天之骄子，但他们并没有因为这样而被骄纵，他们总认为幸福是应该分享的。
他们从家庭教师的口中，听到有关流浪者的不幸事件，又从出入公馆的农奴嘴里，听到了许多其他不公平的事情。他们幼小的心灵早已对人类的不公平产生了共鸣，所以尼克莱发挥了他那非凡的想象力，发明出“绿杖”和“蚂蚁兄弟”这样的游戏。
托尔斯泰70岁以后，还时常想起小时候玩的游戏，他想到他与哥哥们亲切地紧贴身体、闭着眼睛、想着蚂蚁兄弟的理想，并为寻找能驱除世界上所有罪恶、赐予人类幸福的绿杖而奔走的情景。
移居莫斯科
1836年，托尔斯泰八岁时，全家移居到莫斯科。但他们在亚斯纳亚·博利尔纳的房子和土地并没有卖掉。尼古拉偶尔会回去看看，到了夏天他们也会回去度假。
搬到莫斯科主要是因为托尔斯泰的哥哥们快要进大学了，尼古拉觉得莫斯科的教育环境更好一些，住在莫斯科的姑母亚历山大伯爵夫人也是这样建议的。况且尼古拉的事业愈来愈忙碌，他需要有人帮忙照顾托尔斯泰兄妹。
托尔斯泰对于莫斯科这样的大都市自然充满了幻想，他知道那里有许多他没有见过的新奇事物。所以，这次搬家并没有给孩子们造成什么离别的情绪，相反，他们都很兴奋，幻想着幸福的未来。
然而，现实却让他们非常失望，等待他们的是一个冷酷的世界。托尔斯泰在《少年》一书中曾描述了那天搬家时的情形：
……住宅的大门前停着两辆马车，其中一辆有车厢，坐着哥哥们和佣人，管家亚克夫则坐在驾驶台上；另一辆无盖的马车上坐着我和妹妹，还有一个仆人瓦西里。
爸爸要比我们晚三天才能去莫斯科，当我们准备要出发时，父亲站在楼梯口，没有戴帽子，他在胸前画着十字为马车上的人做祷告，然后对我们说：“旅途愉快！”
管家亚克夫与驾驶者都脱帽画着十字作祷告：“留在家里的人多保重！”
这是1836年的秋天。
用来玩“绿杖”和“蚂蚁兄弟”游戏的亚斯纳亚·博利尔纳的森林和丘陵，只能等到明年夏天再回来了。
虽然没有父亲同行，但兄妹们都在一起，所以他们并没有感到寂寞，反而兴奋得心怦怦直跳。
一路上，托尔斯泰一直在盘算，到了莫斯科之后首先要看什么。这一次旅程，小托尔斯泰有一个大发现，那就是世界上充满了和托尔斯泰家没有任何关系的人们。
在他八岁以前，他一直都不了解世界上的很多事，而且也只在亚斯纳亚·博利尔纳的宅子以及附近活动。这附近住的都是和托尔斯泰家族有关系的人，有六七百位托尔斯泰家雇用的农奴，十几位托尔斯泰家的男女佣人。总之，这里的人都是依附着托尔斯泰家而生活的。幼小的托尔斯泰在这种环境中长大，不免以为这世界上的所有人都是和托尔斯泰家有关系的。
但是从亚斯纳亚·博利尔纳到莫斯科的一路上，他发现了许多和托尔斯泰家无关的人。在《少年》一书中他写道：
各位读者，你们是否也在人生的某一时期中，改变了你的世界观。过去常见的事物，突然改观了，出现了崭新的一面，这种感觉上的变化，曾在一次旅行中激醒了我，日后我把它视为少年时代的开端。
这一发现可以说是他人生的另一个起点，他的世界观因此完全改变了。
走出旧宅坐上马车之后，托尔斯泰便不再是被宠爱围绕的孩子。曾经被保姆抱在怀里的他，现在正如春蚕般地蜕变着。
马车向着莫斯科前进，经过了许多乡村、市镇，托尔斯泰看到人们在路边漫步而行，有朝圣的女信徒、有被双亲带出来的小孩、有边走边玩的幼童，形形色色，真是热闹万分。
可是当他们的马车经过时，路人都是一副漠然的表情。托尔斯泰挥手向他们打招呼，很多人根本不理不睬。当然也有微笑着向他挥手的，可是很快就又不理他了。他们全都是陌生的人。
在这段旅行中，托尔斯泰一直观察着人们的举止，他们都过着和托尔斯泰家不同的生活，有的甚至没有一点共同之处。
有一天发生了一件事。当马车正在前行的时候，忽然一道闪电，接着隆隆的雷声不绝于耳，霎时天色变得十分昏暗。
当马车行到桥中央时，车上横梁突然松脱了，于是马夫急忙将车刹住，下车修理。
这时从桥下闪出一个衣着褴褛的乞丐，他光着头，跛着脚，一只没有手指的手忽然伸进马车里来，他用怪异而凄凉的声音说：“老板，请赏赐一点东西给我这可怜的残废人吧！”托尔斯泰看了这个乞丐一眼，就立刻全身战栗起来。这乞丐口中不停地喃喃哀求，且深深地鞠躬，并画十字祷告。
在行程中，他们其实常常碰见这类可怜人，而且也都施与他们一些东西。可是这次因为忙着修理马车，车夫和瓦西里都无暇理会这个乞丐。
马车终于修好了，车夫也跳上了车，忽然间一道更强烈的闪电划过天际，马惊吓得直立起来。天空中又传来一阵震耳的雷声，风也刮了起来，疾风之后，便是一阵倾盆大雨。
马车在大雨中疾驶，乞丐也淋着大雨不停地追赶着，瓦西里赶快抛了一枚铜板给他。车子继续往前奔驰，那乞丐的影子也就逐渐消失在视线里了。
托尔斯泰坐在马车上，在胸前不断地画着十字为这可怜的乞丐祷告。
四天后，他们的马车终于到了莫斯科。
当托尔斯泰第一眼见到将要照顾他们的姑母亚历山大伯爵夫人时，他有些震惊。她和托尔斯泰想象中的完全不同，她骨瘦如柴，也不漂亮，这让托尔斯泰有点失望。
又过了三天，尼古拉到了莫斯科。托尔斯泰觉得父亲好像变了一个人似的，向来和蔼可亲的他好像不如从前那么关心他们兄妹了，他总是穿着黑色的礼服外出，有时一整天都看不到人影。托尔斯泰开始怀念农场里的父亲。
托尔斯泰在来到莫斯科以前，曾充满了希望，但到莫斯科的第二天就开始感到迷惘。首先，他发现这里邻近的人都不互相打招呼。与莫斯科相比，那个商店都很少的亚斯纳亚·博利尔纳，显然更富有人情味。
亚斯纳亚·博利尔纳的人们都充满热情，而莫斯科却是一个冷漠嘈杂的都市，当然，他在生活以及观感上的变化还并不仅在于此。虽然时常感到寂寞，但是他们渐渐地也就都适应了。
1837年夏天，发生了一件令人非常哀伤的事，那就是要外出办事的尼古拉突然脑中风，倒毙路旁。托尔斯泰兄妹成了无父无母的孤儿。
祸不单行，第二年，他们的祖母也逝世了；又过一年，一直照顾他们兄妹的保姆也去世了。
经历了这么多的不幸之后，托尔斯泰开始变得情绪恍惚，他时常觉得脑子里一片空白，好似荒漠一般。
后来，托尔斯泰回忆起这段日子，常以“少年时代的沙漠”来形容当时那种悲伤的心境。他开始很少有笑容，并且养成了单独沉思的习惯。
往后的一生中，托尔斯泰经常想到“死”这个问题，而这种思考的开端就是那个时候。这段时期对托尔斯泰而言，与其说培养了他思考的习惯，倒不如说是造成了他恐惧事物的习惯。
他开始认为世界上一定有魔鬼，我们必须要向魔鬼挑战，绝不能输给它；必须要把魔鬼彻底消灭，将神道建立起来。
这虽是小孩子的幼稚想法，却成了他一生的思想主题。