就在他到上海后不久，各国领事就发来信函，要求他发出逮捕美国人白齐文的授权书。有关这个美国佬带着两百个欧洲流氓劫取了常胜军的一艘轮船“高桥号”投奔太平天国一事，他在北京时就听说了。据公使们的信中说，有线人报称该人此刻就在上海，躲在阿思本舰队的一艘补给舰“巴勒拉特号”上。因事涉舰队，过于敏感，可不可以上船去抓白齐文，就看他是否发给授权书了。
“巴勒拉特号”上的货物全都卸载了下来，也没有找到白齐文的影子。美国领事馆也介入了，抓了六名疑犯去审，据说其中有一个还是白齐文的仆人，也没有线索，审理结果是“一切控告都证据不足”。最后还是根据密报，在一个美国船长的妹妹家里抓到了白齐文。但不久白齐文就被开释，驱逐出境了事。
一番折腾下来，已是这一年的10月了。他寻思，北京那边舰队的事应该都解决了：中国方面接管了舰队，阿思本在李鸿章或者哪位大臣手下出任帮办总统，李泰国拿到了他该拿的钱，各方皆大欢喜。月初，包腊和阿思本的一个秘书乘坐“极北号”来到上海，却带来了一个让他目瞪口呆的消息，舰队的事情又起风波！
李、阿到了北京后，舰队指挥权的问题又被重新提了出来。阿思本不愿接受“帮办总统”一职，恭亲王又拒不批准他们私下达成的协议。据称，僵持两天后，阿思本送交了一份书面通牒给恭亲王，宣称如果在四十八小时内得不到同意的回复，他将遣散舰队。听到这消息，父亲急得像困兽一样在办公室里走来走去，他对包腊说：“这下怕是回天乏力了。”“两个脑子进水的人碰在一起，什么样的事做不出来呢！”他叹息道，“唉，可惜大清国失去了这么好的一支舰队。”
据说，接到阿思本通牒后，总理衙门的回应是，军舰留下，洋兵遣散。但英国公使卜鲁斯出于对英人利益的维护拒绝了。美国公使蒲安臣插了一杠子，说那就什么都别留了吧，军舰退回英国尽快出售，也好把损失减低些。蒲安臣先生这么做自有他的打算，这段时间他的祖国正爆发南北内战，北军统帅谢尔曼将军正带着六万精锐与南方种植园主的武装展开决战。他已接到了南军有意这批军舰欲来中国转买的消息，所以他力主这些搁浅了的军舰开回英国去。一个星期日的晚上，内心烦躁的父亲去教堂。慕维廉神甫布道，讲“光荣的福音书”，他什么也没听进去。
后来和众人一起唱耶稣基督和光荣归于您，他又嫌风琴弹得不够好，一点也没有以前那种古老而熟悉的调子。“一个大错，真是铸成了一个大错。”出了教堂，他还是满脑子的舰队，一个坐在马车上的法国医生向他欠欠身，他也忘了回礼。秋夜的风已有些寒气，他闻到了糖炒栗子的香气，这才发觉这条路不是回海关大楼的，而是通向他和那个中国女人的家。他迟疑了一分钟，然后坚定地走了下去。他此刻多么希望那个温暖、宽大的身体裹住他，燃烧他，让所有的烦恼都变成灰烬。接下来的事情已经没有了悬念，李鸿章赶到天津，把在大沽口等待移交的军舰正式退货。李泰国气得脸都歪了，却又毫无办法。他不知道，对他更大的打击还在后头。
11月下旬，阿思本上校回国途中在上海作了短暂停留，父亲邀他共进晚餐。上校说，八艘火轮中的北京号、中国号和天津号，还有巴勒拉特号补给舰，连同还剩下的三百三十八名官兵（在拖沓的谈判过程中好些都跑了），全部储备军火，都将送回英国，并将这些舰船军火出售。其他几艘，准备卖给印度和埃及，已在洽谈中。他把失去这么一支精良舰队的指挥权视做一生最大的失败，好几次泪水都溢出了眼眶。他愤怒地指责谈判中李泰国的沉默，“是他的缄默把一切都毁了！”总理衙门在他临走时慷慨地赠银一万两，他又对赫德先生在其中所起的作用表示感谢。他说了那么多感谢的话，舌头都大了还在翻来覆去地说。父亲看他醉成这副样子，让人搀扶了下去。晚上还有一个会见等着他，李泰国的秘书金登干提出要见他。金登干带来的消息是，因李泰国需回英国处理船队解散事宜，总理衙门已正式宣布赫德先生接任总税务司。他的船走得快，可能正式文件要晚些才到。对总理衙门的这一决定，父亲并不吃惊。这一天的到来是迟早的事。他关切地询问金登干，以后有何打算？金登干说，他已正式辞职，不日将乘中华号经好望角回国。
“不打算在海关做了吗？”
“他总在发号施令，我受够了。他已经厌烦我了，因为他做事的时候，我总要说三道四。”金登干发泄着对上司的不满。
“我还是希望你回到伦敦办事处去，先帮助李泰国先生处理好舰队的善后事宜，尔后听我指令。”父亲像对待一个老朋友一样拍着他的肩膀，“中国需要我们，我需要你。”
11月底，一个星期日，父亲正在吃早餐，接到了道台投来的名刺。道台转来了总理衙门的公函，信封上写着“致总税务司大人”。
这一天终于到来了。巨大的欣喜并没有让父亲惊惶失措，他依旧不紧不慢地吃着早餐。吃毕，又按常例念圣经做早祷。做完了这一切，他才打开这封像中国套盒一样的公函。
第一件是公使卜鲁斯先生的信，他劝赫德先生接受总税务司一职，并保证，他将得到各国公使的支持。公使先生还摘引了就有关此事他上报英国外交大臣的报告中的一段话：我认为，能提供这样的机会，使赫德先生作为一个中国雇佣的英国臣民，接近像恭亲王和文祥那样的居高位者，并给他们留下良好的印象，是一桩重要的事件，他所受到的待遇，几乎不可能不对外办的一般地位产生相当大的精神影响……
第二件是总税务司署一个朋友的长信，证明北京方面对他的深切信任。第三件是总理衙门的几个司官和章京写的祝贺信，那些四六骈句写得极端华丽。最后一件是总署的任命文件。
这一晚，他在日记中这样写道：“我终于登上了顶峰，非常高兴，但是前途艰险苦多。”
回国的各项准备都做得差不多了，但起程的日子一直确定不下来。帝国的外交与财政有那么多的事等待着这个外国人去做。他想再不走怕真是走不成了，使团反正就这样子了，用不着对之抱过高的期望，但婚姻总不能老拖下去。恭亲王总算勉强同意他在3月初出发。
他说王爷总不希望我打一辈子光棍吧，再不放我回去恐怕就来不及结婚了。恭亲王以为是英国式的幽默，也开玩笑说，难道中国的姑娘不够漂亮，要让总司大人专程回国带一个来？看他辞行决心已下，恭亲王也不再挽留。接下来他忙碌了几个星期，结清账目，办好交接，拟就使团所需中英文函件，期间王爷还派人送来了不少礼品。
3月的一个下午，全部行李装上马车时，他突然意识到这下是真的要离开这个生活了十二年之久的国家了。时间仓促，除了向老朋友、同文馆的英文教习丁韪良略作交代，未及亲到同文馆向学生们告别，想到将要好久见不到他们，一时不禁喉哽眼湿。寒潮刚过，地上仍有积雪，但天蓝得如此明净可爱，就好像劲吹的北风把它擦亮了似的。他并不喜欢北京，不是嫌风沙太大就是嫌吃食单调，但此时他却深深迷恋起了它初春时节的天空，蓝得那么宁静，那么深邃，几乎可以淘涤去所有灼人的杂念和欲望。从陆路行至天津，因白河冰冻甚厚，在天津等船开行停留了数日。尽管此地的三口通商大臣崇厚招待殷勤，每天的餐饮都甚为丰盛，但在归心似箭的他而言全是味同嚼蜡。因为他的心已经飞落到爱尔兰天空下某个窗口的一丛鲜花里去了。
就在此地，他收到了布雷迪姑妈的来信，随信还夹着一张赫斯特·简小姐的照片。照片上的赫斯特薄嘴唇、翘鼻子，穿着一件有很多皱褶的深色长裙，纽扣严严实实一直扣到头颈底下，有着一种做作的严肃，一头漂亮的长发用丝带向后挽紧，显得额头特别的光洁，一看就是个出身教养良好家庭的姑娘。一看到这张照片，他内心里一下就把这个姑娘看做了自己的未婚妻。如果不是因为在回国途中，他真想马上挑选一张自己的照片寄回去。
等船正式开行，离京已一周。使团成员除了斌椿等五人和七个仆役，还有两个年轻人尚未上船。他们一个是在芝罘（烟台）海关工作的德善，法国人；一个是在广州任代理翻译的包腊，一个充满叛逆精神的英国人。他们将充任这次旅行的翻译。
那些中国人都管斌椿叫斌老爷，因为这些人里他的官衔最高。包括斌老爷在内，这些中国人可能都是第一次乘坐西方轮船出行。从他们惊奇、赞叹的表情，看得出他们对这艘大轮船非常喜欢。最初的拘谨过去后，这些中国人一个个都放松了下来，在船上就像在家里一样随意。这天午餐是船上的第一次正餐，桌上放满了面包和用来烧烤的牛羊鸡鱼，还有糖饼、苹果等佐餐食品，每个人的面前都放着一把切肉的小刀、一把叉子、一只盘子、大小匙各一、三个玻璃酒杯，其下垫着一块雪白的桌布，一边的热牛奶、咖啡、菜肉汤和洋酒随他们取用。斌椿非常专注地盯着侍者的切肉操作，不一会儿，他就和一个姓姚的仆役一起面对面坐着，急匆匆地拿起刀叉对付起了放在他们中间的两只烤鸡了。他们拼命乱切，尽力想吃上一口，可是那两只烤鸡就像被施了魔法一样在盘子中打着转，存心不让他们吃到。斌椿好不容易切下来的一块肉还飞到了对方身上。不过他们马上就平静了下来，拿出中国人特有的认真劲掌握了技巧，很快他们中间的两只烤鸡变成了一堆骨头。
斌椿的儿子广英这天的表现，给这次大餐添上了特殊的笑料。可能他喝了太多的肉汤，又贪杯喝了不少洋酒，突然内急起来。但桌上没有一个人起身，他也不好意思跑出去解手，再说他也不知道船上什么地方可以方便。后来他可能实在熬不住了，就离开餐厅。不一会，广英满脸通红地回来了，坐下来，不再吃喝，勾着头，身子在坐椅上不安地扭动着。一会儿，又起身往外走，回来神色更显焦躁。当他再一次紧夹着双腿往外走的时候，斌椿把他叫住了。“站住！一次次跑来跑去的成什么样子！”
广英更紧张了，低头唯唯诺诺站在他父亲身边，人也像是缩短了几寸。我是去找……找……他结巴着，突然眼里掠过一丝惊恐，整个五官都皱了起来，才一会，那些挤到一处去的线条又舒展了开来，一张胖脸的嘴角浮上来一个苦笑。他站立的地方，地毯上慢慢洇开去一摊水渍，而且这水渍的版图在渐渐扩大。
父亲把酒杯一顿，突然暴出一阵大笑，指着广英叫了起来，你，你是在找厕所？
广英苦着脸嘟哝，这船上怎么就没有一个茅房呢？斌椿顾不得脸面，大骂：“笨蛋！活人咋还能让尿给憋死，你就不会跑到甲板上往大海里撒吗？”
一个男侍打开了餐厅背后两舱之间的一扇小门，这就是船上的厕所了。刚才大家都不好意思开口，这门一开，全都蜂拥了过去。
不要挤，不要挤！一个一个上，请斌老爷先用！有人这样喊。斌椿登上净房，但见四壁洁白，入门有一净桶，提起上盖，下有瓷盆，盆下面有孔通于水面，左右各一桶环。便毕，他先抽出左环，一股清水裹挟着秽物在盆桶内上下盘旋洗涤，再抽右环，积物随着水流呼啸着冲下，桶内又复洁白如新。他暗暗叹了一声道，妈的，洋人的东西确是好使啊！
船上每日除了两次大餐，还有三餐点心供应。一开始，使团这些人的胃口都特别好，尤其是同文馆的三个年轻人，都是长身体的年龄，食量更是惊人。但很快他们就吃不下去了，由于海浪颠簸，他们开始晕船，吃下去的都吐了出来。他们东倒西歪地靠在座舱里，船上的仆役一次次地擦去他们吐出来的污秽物，一股恶臭还是挥之不去。到后来，他们中的几个一听到开饭的铃声就会大吐不止。勉勉强强坐到餐桌前，面对满桌珍肴也提不起兴致了。张德彝和他的两个同伴试着喝些牛奶和肉汤，也都吐了。只有斌椿什么事也没有，依然海吃海喝，好像船无论怎样颠簸，他都不碍事。