在尤索夫卡期间，尼基塔·赫鲁晓夫的父亲挣到了足够的钱，可以养家口，很显然也重新赢得了他祖父的尊重。谢尔盖和他的家庭肯定又在尼卡诺·赫鲁晓夫的屋檐下重新生活过一段时间，因为根据尼基塔·赫鲁晓夫的回忆，最后“我父亲的钱花完了，祖父再一次将我们赶出了家门。我们只好住进了一间泥草屋里，地面很脏，窗户很少。我的祖父对我颇有好感。晚上他会让我睡在他小木屋的灶台上面。我的父亲到邻村为一个地主当雇农。我的母亲也去了。她那时是做洗衣工，并为其他的农村妇女缝补衣服”。
由于第二次失去了相对舒适的生活，西尼娅·赫鲁晓娃从没有让她的丈夫忘记这一切。尼基塔·赫鲁晓夫能回忆起他的父母是如何建起他们自己的房屋，以及他的母亲是如何“因在盖房子期间劳累过度而落下终生疝病的”[7]。对此，西尼娅·赫鲁晓娃自己的说法是，丈夫在尤索夫卡期间，她自己盖好了房子。“矿工的生活吞噬了我的丈夫，”她抱怨说：“他（最终）将我们带离了村子，来到了乌斯彭斯基煤矿。”
好像没有土地还不是最糟的，谢尔盖与西尼娅·赫鲁晓娃连马也没有一匹。在维里蒂亚奥，拥有一匹马是社会地位的主要标志。村里总共252户农民几乎有一半人家拥有两到三匹马，还有71户人家每户有一匹马，只有28户最穷的人家一匹马也没有。“有马你就是个人，”村里流行的说法是：“没有马，你就得自己戴上马具。”赫鲁晓夫回忆说：“我父亲……冬天在矿上干活，就希望有一天能攒到足够的钱，买一匹马，这样他就可以种植足够的土豆与卷心菜养家口了。但是他从来也没有攒到足够的钱，能买得起一匹马。”
根据赫鲁晓夫的说法，他的父母甚至在全家于1908年搬到尤索夫卡后还有着这样的梦想。他的父亲在煤矿里工作，他的母亲帮人家洗衣服，而他自己则爬到巨大高耸的烟囱里帮人家扫烟囱。但是“我的父母亲，特别是我的母亲，都梦想着有一天他们能回到村子里，有一间小小的房子，一匹马，一块地”。
随着梦想的拖延，西尼娅·赫鲁晓娃就开始埋怨她的丈夫。根据赫鲁晓夫的儿媳柳芭·锡日赫（Liuba Sizykh）的说法，她第一次见到西尼娅是在20世纪30年代末，西尼娅几乎从不提起她刚刚故去的丈夫，即使提起时，她也是“一脸不屑的样子”，好像“她认为他是个傻瓜”。赫鲁晓夫的母亲大脸庞，表情严肃，后面梳着长长的头发，很“好强”，而她的丈夫则显得“较懦弱”。锡日赫说：“西尼娅不仅精明，而且也很聪慧。如果接受过一定的教育的话，她也许真的能成就什么大事！”尼娜·伊凡诺夫娜·库赫丘克（Nina Ivanovna Kukharchuk）是辛尼娅的侄女，从1939-1949年一直与赫鲁晓夫家人生活在一起，她回忆说，辛尼娅“是个很有主意的人。她甚至对尼娜·彼得罗夫娜（Nina Petrovna）（赫鲁晓夫的妻子）的要求也很苛刻”。赫鲁晓夫的父亲因在尼娜·彼得罗夫娜进入赫鲁晓夫的家门前就已经去世，而“没有人提及”。
1991年，我们在卡里诺夫卡遇到的一位老妇人这样回忆起尼基塔·赫鲁晓夫的父母：“他的母亲是个倔强的女人，一个真正的悍妇。她很粗俗，这是说她与人交往的方式。他的父亲则要和善得多，心地善良，但是她很难缠，难以相处。”听着这位老妇人的话，尼基塔·赫鲁晓夫的儿子谢尔盖点头表示认同。“这就是我们听到的议论，”他说：“他待人和气，而她则事事压着他一头。”
当父亲将他带出学校，到地里干活时，尼基塔很不满。“在上了一两年学后，我已经学会数到30了，我父亲觉得念这么多书已经足够了。他说我需要学的就是能够数钱，不过我从来也没有数过超过30卢布的钱。”后来在尤索夫卡，谢尔盖·赫鲁晓夫安排他的儿子跟着一个鞋匠当学徒。“我父亲说做个鞋匠很不错：‘你到什么时候都可以住好房子，口袋里有钱花，因为每个人都要穿靴子，每个人都想穿好靴子。’”当尼基塔拒绝学制鞋时，他的父亲又想出另外一个计划：“去做个商店售货员。”谢尔盖“喜欢当地百货商店里售货员对工人们的礼貌态度，总是设法取悦于他们，为他们提供最好的商品。”但是他的儿子却一点也没有这样的想法。“我明确地表示拒绝。我甚至告诉我的父亲，如果他想逼我去当售货员，我就离家出走。”
感觉到祖父和母亲对他父亲的轻视，尼基塔对谢尔盖的建议更加表示反对。由于自己的贫困，谢尔盖·赫鲁晓夫对儿子抱着雄心勃勃的期望，但还是没有像尼基塔对自己的希望那样富于挑战性。尼基塔·赫鲁晓夫雄心的一个来源肯定是他从祖父那儿得到的优待。然后也有西尼娅·赫鲁晓娃在他儿子身上寄予的希望。尼基塔有一个姐姐，比他大两岁，但他是母亲的掌上明珠。柳芭·锡日赫回忆说，西尼娅好像对他“很崇拜”，经常称他是“我的沙皇儿子”，并吹嘘说：“我早就知道他有朝一日会成为大人物的。”
当尼基塔·赫鲁晓夫于20世纪30年代初期成为莫斯科党的要人时，他将他的父母接来，与他一起生活在一个大的公寓里。根据拉达·阿朱别依的回忆，她的祖父母对城市生活并不是很喜欢。阿历克赛·阿朱别依说，他们搬到了莫斯科，因为“他们的儿子有着俄国传统的对父母的尊重，而他们也知道尼基塔是个好儿子，邀请他们是出于真心。”
但是阿朱别依自己也承认，他对赫鲁晓夫对他父亲的真正态度表示怀疑。谢尔盖经常生病，并于1938年在一家结核病专科医院去世。他被安葬于附近的公墓里，但是在拉达的印象里，同年她家搬到了基辅，在此之前赫鲁晓夫一次也没有到他父亲的坟墓祭拜过。他们于1949年回到了莫斯科，但赫鲁晓夫也没有提到过他的父亲。赫鲁晓夫对他父亲的事总是缄口不提，所以直到现在拉达也不知道她祖父的坟墓在什么地方。
赫鲁晓夫的家人否认这种忽略就说明他们不孝顺。共产党人都像战士那样不受个人情感所左右，他们说，他们有很多具体的事情要做，因此没有时间去其父亲的坟墓祭拜。但是这并没有妨碍赫鲁晓夫经常去祭拜他母亲在基辅的坟墓。
“一个在他母亲心中一直是无可争议的最心爱的人，”西格蒙德·弗洛伊德写道：“会在其一生中始终保持征服者的感觉，对成功的自信通常会帮助他获得真正的成功。”哈罗德·拉斯维尔也认为，对政治权力的追求欲望通常是由那些对婚姻感到不如意的母亲激发出来的，她们认为婚姻“抑制”了她们潜能的发挥，因此决心通过“自己孩子替代性的胜利”来“证明”自己的能力。但是一个其父亲碌碌无为的人对失败意味着什么以及被妻子看不起会有深切的了解。这使得赫鲁晓夫要超过他的父亲的信念变得更为重要，然而这种成功也会因没有继承父亲其他方面的品质而可能带来负罪感。从这种意义上来说，赫鲁晓夫对权力与荣誉的梦想以及他对两者的矛盾心理都是他儿童时代的遗产。[8]
除了他的母亲外，尼基塔还得到了卡里诺夫卡公立学校里一位老师的鼓励。与他在教会学校里的老师不一样，丽迪娅·米哈伊洛夫娜·谢甫琴科（Lydia Mikhailovna Shevchenko）是位无神论者与村庄的反叛者，而教会学校里的老师则“会用尺子使劲打孩子们的脑袋与手心”，“让我们死记硬背来学习”。赫鲁晓夫回忆谢甫琴科时说：“她从来不去教堂，因为此事，村子里的农民也从没有原谅过她。虽然他们对她很尊敬，但是她不去教堂的事还是让他们觉得她做错了什么。”
“我第一次看到违禁（政治）书籍就是在丽迪娅的家里。”赫鲁晓夫说：“有一次我去拜访她，她把我介绍给了她从城里来访的兄弟，当时他正躺在床上。‘这就是我跟你说过的那个男孩。他来找我是想看一些违禁的小册子。’她说。她兄弟笑了起来，回答说：‘把这些书给他吧。也许他会悟出点什么来，要是那样的话，那他长大后就会记得这些事的。’”
第一次接触的违禁书籍的主题是关于俄国革命传记的经典解释。很显然，丽迪娅·谢甫琴科的兄弟（如果他真是她的兄弟，而不是其他什么人，他躺在她床上，这难以作出其他的合理解释）是有先见之明的。但是赫鲁晓夫更为得意的是他当时很聪明：“我算得很快。我能很快弄清楚他们提出的问题，然后通过心算得出结果。当丽迪娅·米哈伊洛夫娜必须进城或有事需要处理时，通常都是由我来代替她。……当我结束一共只有四年的学业时，丽迪娅说：‘尼基塔，你应该继续学习。不要呆在这儿的村子里，到城市里去。像你这样的人必须学习。你应该成为知识渊博的人。’她的这些话深深地打动了我，但是我父亲的钱用完了，我祖父再次将我们赶出了家门。”