二年之后，王恺运走了，换了一个没多大学问的老师。他兄弟便不愿意再住衡阳书院了。因书箱累赘，就雇了两条民船，装载书箱包运到平江浯口上岸。兄弟二人每人坐守一条。当那搬运书箱上船的时候，两名脚夫抬一口皮箱，只压得汗流气喘。脚夫因争论要增加力钱，说：箱里装的不是衣服，衣服没有这们重，必定是金银珠宝。码头上的习惯，搬运金银的力钱，每挑每抬，比搬运谷米什物须贵三成。向乐山懒得和那些脚夫多说，就依照搬运金银的力钱给了，也没说明箱里全是书籍的话。谁知船户认真当做是二十大箱金银，就陡起了杀人越货的念头。见向乐山兄弟都是文弱的书生，年纪又轻，更没有仆从。这念头一起，招待他们兄弟便分外的殷勤，每日好酒好肉的办给二人吃。他们初次坐这长途的民船，又在洪杨乱平之后，那知道江湖上的利害。
各睡在各人的船上，吃喝饱了，就拿着书看。停船启碇以及经过甚么码头，全不顾问。船行了四日，船户只因没有好下手的地方，遂商量这夜并不停泊，在江心动手。这夜的月色很好，向乐山坐的这条船在前，向曾贤的船在后，相离有半里河面。向乐山生性本来喜酒。寻常的民船，照例黄昏时就停泊不走了。有时恐怕赶不上第二个埠头，下午三四点钟的时候就停了，从来不曾坐过在月夜行走的船。这夜倒觉得很高兴，独自拿了一壶酒，坐在船头上，旋喝旋观玩夜景。正在喝得有八成醉意，忽听得身后脚步响，以为是船户撑腰篙的，懒得回头去看。手里端着酒杯，刚待往嘴边送，陡觉有人一把将自己的辫发揪住。向乐山醉意阑珊中，也不问揪辫发的是谁，只将头向前一点，就听得拍的一声，把那人一个跟头栽到前面船板上。触眼即见那人手中，握着一把明晃晃的钢刀。
这一来，却将酒意惊退了，拔地跳起来，一脚点住那人胸膛。回头看舱里，又蹿出一个拿刀的人来。见向乐山脚点住了一个，他也不识进退，亮刀直劈过来。向乐山那有心思和他动手，一晃脑袋，辫尾如流星一般的一绕就绕着了那拿刀的手腕，顺势一带。洪矮牯、周敦五那般本领的人尚且受不了一辫尾，船户能有多大的本领，被这一带，如何能立脚得牢？扑面一跤，也跌倒在船板上。向乐山拾起一把刀，指着二人问道：“快说！后面那条船和你们伙通了没有？如何相离得这们远？”
船户道：“伙通是已伙通了，不过他们已经动手没有，就不得而知。”
向乐山听了，心里登时慌急起来。想放起这两个船户教掉转船头迎上去，又怕船户知道事情败露了没有好结果，一放起来，就浮水逃命。自己又是一个不会水的。待将船户捆缚起来罢，自己一个人如何能驾的这们重载的船。双珠一转，想出了一个计策来。丢了手中的刀，就船头上的铁链捆好了一个，由他躺在船板上。才将脚点的这个提起来，也用铁链锁住了他的双脚，一端结牢在桅柱上。提了一片橹给他，拿刀在他脸上晃了一晃道：“你若敢不尽力的摇橹，只这一刀就要了你的狗命！你想逃是逃不了的，只要能赶的上那只船，我决饶了你的性命！”
船户到了这时，那里还敢违抗，自然是尽力的摇橹。
向乐山安置了那个，才将这个躺着的铁链解了。一手拿刀，一手拖着船户到后梢，喝教他掌舵，将船掉头。向乐山知道自己哥子文弱，这回十九是死，只急得如热锅上118蚂蚁，一叠连声的催着快摇。自己手扭住掌舵篷的辫子，探身船篙上，向前头江面上望。直追赶到天明，不见那条船的踪影。只得又拿刀逼着船户说，看他们原约了在甚么时候动手的？船户说并不曾约定时候，谁先得手谁走。大概那条船动手得早些，所以先回头跑了。向乐山料想自己的哥子是死定了，不见得能追赶着。不如就近且将这两个强盗送交地方官，讯实了口供，得了那伙强盗的巢穴所在，再去缉捕。倘我自己一个不小心，连这两个也逃了，就更费手脚了。当下就问船户追到了甚么地方？船户说是湘潭。向乐山教把船泊了，用绳索牵了两个船户，连同那两把刀，亲自送到湘潭县。那县官听说是盗案，立时坐堂提问。问出那条船上同伙的，也是两个人。一个姓林名桂馥，原籍是广西人。十几岁的时候，被洪秀全的军队掳在营中喂马，随营进湖南，在衡州一个山上照管数十匹马吃草。忽然有一匹马失脚从山岩上跌下，跌断了一条腿。林桂馥怕回营受责罚，就逃到衡阳，在一个船户家当腰篙，后来自己做了一条船。还有一个，是林桂馥雇的伙计，姓张，因是个瘌痢头，同伴都呼他张瘌子，不知是湖南那一县的人。县官又问明了林桂馥在衡阳的住处，行文去衡阳县缉拿。向乐山自请同去，县官自然许可。到衡阳访拿了半月，不仅林桂馥不曾回衡阳，连那只船都没人看见在衡阳一带露过眼。向乐山只得痛哭回家，将遇难情形告知向闵贤。即日又驮了个包袱出门，誓必寻着林桂馥，替兄报仇。
因林桂馥是个船户，在江河里的日子多，在陆地上的日子少，遂也投进衡阳的船帮，充当船伙。终日在江河里明查暗访，足足查访了三年。凡是湘河里的船只，只要船桅一入向乐山的眼，就能认识这船是谁人的，单单不见有林桂馥那条船。问一班船户，也都说：近三年来，林桂馥的船不知怎的，不在湘江河里行走了。向乐山见访查没有下落，出门的时候，原发誓此去不能替遇难的老兄报仇雪恨，绝不回转家乡，于今荏苒三年，只仇未报，哪有心情哪有颜面回家见人呢？仇人既不在湘江河里，船伙也用不着再充当了，辞卸了职务。既不能归家，复无心谋于甚么差事，东飘西荡的，竟像是一个流落江湖的人。有时喝醉了酒，就独自跑到高山顶上放声大哭。哭疲了，便倒在岩石上睡觉。无论甚么人和他谈话，他总是摇头不答。