我母亲说：“像这种有钱的小姐你不要跟人家走得太近，交朋友就可以了，但不要多想，她们花钱大手大脚的，你挣的钱还不够她一天花的。”所以我也就不再多想了。1952年我去当兵了，退伍回来后，有天在路上遇到她，那天我穿的是海军的白衣服，看到她就跟她打招呼，问她现在在做什么，她说她到香港去了。就是很简单地问了一句，连多余的客套话也没讲，当然也没问她在香港的地址。后来我们就一直没联系了。很巧的，我姓余，她也姓余。
我跟妻子是打篮球认识的。她是启秀女中的学生，广东潮州人，父亲是华侨。1956年我退伍回到上海当老师，通过朋友的朋友认识她，后来就介绍她到朝阳中学当体育老师。我们一起上下班，来来去去。我骑自行车，她坐三轮车。
我说你赚的钱都拿去坐三轮车了，不等于没赚钱吗？她说我上班就行了，赚不赚得到钱无所谓，家里不要我的钱，我爸爸有钱。我就陪她一起坐车。后来她有课就上课，没课就看我上课，等着我下课陪她坐车。我们就慢慢开始交往。
我母亲说：“你看她也是个大小姐，你怎么养得活她？”我说：“不要紧，可以在思想上慢慢改造她。”后来她也慢慢改掉了一些大小姐的毛病。我们谈朋友谈了一年就结婚了，第二年就生了大女儿。我们感情很好。人就是这样，喜欢就什么都可以，她叫我做什么我都愿意。她性格很开朗的，打篮球，很活泼。
1958年之后，上海就没有拳击比赛了，拳击是我的爱好，没有比赛打我就很不开心。当时我就想偷渡到香港去，香港那边几个打拳的都知道我是很厉害的，也想叫我去。我就想过去多打点拳，多挣点钱，也改善一下家里的经济条件。于是我就向学校的人事科请假，说是去合肥看妹妹。实际上我是想去香港。我就那么走了，去了广州。
我们一起去的有好几个人，约好到一个茶楼喝茶商谈去香港的事情。他们先去了，我在后面，正准备上去的时候，觉得有个人盯着我，我看到他身上有手枪，想着肯定是公安局的。我做贼心虚，所以没敢过去，就杀了回马枪回了杭州。
后来才知道，可能是因为我们在公园说话、打听蛇头被人听到了。回杭州的路上我得到消息，说一个也准备去香港的朋友在杭州被抓了，我很害怕。但后来派出所发现我一直没上班，也一直没回家，还是把我抓了。他们说：“我们知道你要去香港，派了很多便衣跟着你，你要老老实实交代问题。”我说：“我就是想去香港打拳多赚点钱，让家里好过点，我又不去美国，我是中国人。”他们就把我放出来了。
我回到学校，学校问我去哪了，我就老老实实说请假去香港了，结果被公安局请去审查了两个月。回来之后学校让我去找教育局，他们说像我这种情况不能再当老师了，让我回家去等通知。
结婚之后我就没让我老婆工作，我说我能养活她。因为那时我是退伍的连级干部，工资比较高，一个月有两百多块，人家大学出来的工资也才四五十块。
后来（自然灾害）不行了，我就想去香港打拳多赚点钱，结果这个想法也不行，工作也丢了。我跟我老婆说总得想想办法。
我老婆是广东潮州人，她家的海外关系比较多。我那时候去香港是属于偷渡，没有向上面打报告的，我就建议她打报告去投奔她的阿姨，她有个阿姨在新加坡。报告打上去了还没批下来，公安局就来人征求我的意见，我说：“我老婆出去我有什么意见？一家人总是要吃饭的，我工作没了，她出去工作养活家里，那我就在家带孩子。”后来他们就把我带到派出所，见到上回抓我的那些人，他们就说：“叫你老老实实的，怎么这回又让你老婆出国了？”我就说：“我家里的人要吃饭，她是正当打报告出去工作的，批不批还是要看你们。”公安局的人没理会我，把我押送到安徽的白茅岭农场，我老婆也没去成新加坡。
我就这么熬过来了，你说拳击不能打了，老婆离了、孩子走了能不难受吗？
我没死，活下来了，像傻子一样熬过来了
我在白茅岭农场，一待就是十几年。先是劳动教养3年，3年之后每年可以回家探亲一次，有的人探亲住半个月一个月的都没事。我母亲那时候还在世，老人家胆子小，怕我误了时又被延长劳教，所以每次住15天就要我回安徽。那时候我40来岁，其实对于被判劳教这件事还是很不服的，但为了母亲不担心，我还是老老实实待在那儿。每次我要走的时候我母亲都东拼西凑找来一些面粉和鸡蛋，给我做几个饼，让我在回去的路上吃饱，她自己从来都不吃的。
在遣送白茅岭的时候我就跟我老婆说：“我们离婚吧，不离婚你要倒霉的，反革命分子家属要跟着挨批受苦，你受不了的，以后三年满了，我要是出去了就去找你，没出去你就当我死了算了。”
她也没办法，带着两个孩子，还要生活啊。后来，她嫁人了，嫁了个有工作的，好养活孩子。我就这么熬过来了，你说拳击不能打了，老婆离了、孩子走了能不难受吗？没办法，只有不想它，在里面就混吧。有些同志在农场里面都死掉了，我没死，活下来了，像傻子一样熬过来了。
1979年上海来电报说我母亲过世了，农场批准我回上海奔丧。15天满了，我向公安局申请多住几天，我说这次是我母亲死了，以后我再回上海的机会就没有了。
实际上我是很想离开白茅岭的，那时候只判了三年劳教，结果那么多年还没放我回来。他们说放你回去又怎么样，没有单位肯要你的，要是有单位要你我们就放你出去。我就记着这句话了，所以我母亲过世时我回到上海就给青岛方面写信，说我愿意去那儿教拳，我是什么人报纸上可以查到，我不考虑工资，只要管食宿就行了。这样我就去了青岛。
后来上海精武会办拳击比赛，我带学生过来参加。白茅岭农场有个领导，也是公安局的，知道这个比赛，就来找我。当时我很害怕，怕他又把我抓回去。他说你别怕，我是来看比赛的，知道你也在就来看看你。我就放心了。他说既然你在做拳击教练，有工作了，那你完全可以回上海来的。我说我没有户口怎么回？
他后来就帮我落实了户口，我就回到了上海。那是1979年。我后来就一直在中学做代课体育老师，一直到1997年。现在中国不比以前，强大得不得了。体育方面也是。要是时光能倒流，要是我能参加奥运会，一定要再拿个冠军！
后来呢，我也一直没有结婚，我觉得一个人生活挺自由的。现在住的这个房子，是我小女儿的。小女儿因为我曾经是劳改犯，小时候一直恨我，不情愿跟我在一起，这么多年，我们也才见了两三次面。现在住在这里呢，是因为我退休之后也没有退休金，没人管我，我终究是她的父亲。
我去续我的社保，学校说找不到我任职的档案，为了这个事情也是搞了好久都没有落实。
我现在什么要求都没有，只想有个社保，之前我每个月生活费都是200块钱，最近几年才涨到300块多，你说两三百块在上海怎么活呢？我去市区跑社保的事情，跑了两趟就不敢跑了，一趟下来坐个公交车也要花五六块钱，我跑不起。
78岁生日的时候，当年我曹杨二中的一帮学生来看我。他们现在也都是60多岁了的人了。我半个多世纪没做过生日，要不是他们说，我早把生日忘了。我的这样一个情况他们也看不下去了，现在他们也经常来看我，很积极地帮我跑社保的事情。
现在经常有一些拳击比赛叫我去，说余老师你来，你来我们就高兴。你是老前辈。有的时候我想，老前辈有什么用呢？现在做教练我也做不动了。不过要是有人请我，我还是愿意去指导指导的。
现在中国不比以前，强大得不得了。体育方面也是。2008年奥运会快要开了，我们中国人，要么不参加，要参加总是要拿名次，要拿金牌的。拿不到第一拿第二，拿不到第二拿第三。现在中国是个强国，人家不敢欺负咱们。国家强了，人出去地位就高了。要是时光能倒流，要是我能参加奥运会，我一定要拿个冠军！