父亲使金淹留带给洪迈难以抹杀的伤痛阴影。父亲出使金国时，方当壮盛之年，归国之日已是白发苍苍的老人。在这扣留的15年间，家庭遭受了巨大的灾难，母亲因病逝世，童年历尽坎坷，这些都给洪迈留下了深刻的心理创痛。只有他才懂得千载盛名背后的一腔血泪。更让人寒心的是，南宋君臣毫无记性，父亲在金国为人景仰，名震异域，而回归故国之后反而连遭贬斥死在流放途中。残酷现实总比美好理想更让人信服。
四、文人性格
洪迈是个典型的文人，敏感而多伤，激奋而难久。他的远大抱负和宏伟理想原本都从书本上学来，一旦在现实生活中碰壁，他就立刻缩回到精神世界里自给自足。而且在骨子里，他缺乏洪皓不惧牺牲的勇气和百折不挠的坚韧，甚至有着怯懦苟且的一面。见《容斋三笔》卷四《祸福有命》：
秦氏颛国得志，益厉刑辟，以箝制士大夫，一言语之过差，一文词之可议，必起大狱，窜之岭海，于是恶子之无俚者，恃告讦以进。赵超然以“君子之泽，五世而斩”责汀州，吴仲宝以夏二子传流容州，张渊道以张和公生日诗几责柳而幸脱，皆是也。予教授福州日，因访何大圭，忽问：“君识天星乎？”答曰：“未之学。”曰：“岂不能认南方中夏所见列宿乎？”曰：“此却粗识一二。”大圭曰：“君今夕试仰观荧惑何在？”是时正见于南斗之西。后月余再相见，时连旬多阴，所谓火曜，已至斗魁之东矣。大圭曰：“使此星入南斗，自有故事。”予闻其语，固已竦然，明日来相访，曰：“吾曹元不洞晓天文，昨晚叶子廉见顾，言及于此，蹙安页云：‘是名魏星，无人能识，非荧惑也。’”予曰：“十二国星，只在牛、女之下，经星不动，安得转移？”圭曰：“乾象欲示变，何所不可？子廉云，‘后汉建安二十五年亦曾出。’”盖秦正封魏国公，圭意比之曹操。予大骇，不复敢酬应。他日，与谢景思、叶晦叔言之，且曰：“使迈为小人告讦之举，有所不能，万一此段彰露，为之奈何？”谢、叶曰：“可以言命矣！与是人相识，便是不幸，不如静以待之。”时岁在己巳，又六年，秦亡，予知免祸，乃始不恐。
正当秦党钩连天下之时，朋友肯以直指秦桧为祸国奸贼的真实想法相告，本是对他多么大的信任。可是他呢？被吓得哑口无言。之后更广为流布，以希望在可能的情况下洗刷自己罪名于万一。殊不知此等行径与告密相差无几，倘少有泄漏此人说不定就人头落地。而且尚言结交此人即是不幸。秦桧既是举国之蟊贼，又是洪迈一家之大仇，却连别人背后议论一句也不敢听，洪迈胆量之小，性格之懦弱可见其一斑。而且洪迈似乎对帝王有着天生的恐惧敬畏心理。这种心理有时能导致常人难以理解的行为。田汝成《西湖志余》有记：“洪景庐学士赏赐对于翠寒堂，三伏中，体气战栗，上遣中贵人以北绫半臂赐之。则境界可想矣。”大热天居然因为跟皇帝对话而浑身战栗，恐怕不是因为堂名翠寒的缘故。
五、爱重其死
司马迁《报任安书》有云：贤者爱重其死。人生难过百，古往今来，英雄豪杰才子佳人，但凡有一技之长者，都极为爱惜羽毛，尤其珍惜生命。时间就是机会，如果有可能，谁会愿意在还没有一展宏图的时候就选择默默死去呢？洪迈一生自视甚高，他不愿意这样作为普通使节默默无闻。根据《宋史》记载，当时使金使节虽众，然扣留者埋没者甚多，有名有姓者寥寥无几。试想，当时如果洪迈坚持下来，那么或杀或留，南宋朝廷或许流传一段千古佳话，可是中华文明也许就少了类似于《容斋随笔》这样的一部宏伟巨制。文章千古事，仕第一时荣。历史得失原本使人困惑！
六、择福避祸
洪迈的屈服还出于一种择福避祸的思想。《容斋三笔》卷六《择福莫若重》清楚明白地表现了他这样一种想法：
国语载范文子曰：“择福莫若重，择祸莫若轻。”且士君子乐天知命，全身远害，避祸就福，安有迨于祸至择而处之之理哉？韦昭注云：“有两福择取其重，有两祸择取其轻。”盖以不幸而与祸会，势不容但已，则权其轻重，顺受其一焉。庄子养生主篇云：“为善无近名，为恶无近刑。”夫孳孳为善，君子之所固然，何至于纵意为恶，而特以不丽于刑为得计哉？是又有说矣，其所谓恶者，盖与善相对之辞，虽于德为愆义，非若小人以身试祸自速百殃之比也。故下文云：“可以全生，可以保身，可以尽年。”其旨昭矣。
像这样一个万分渴望全生、保身、尽年的文人，怎么可能轻易去挑战死亡呢？
（第三节）心路艰难
使金的失败甚至可以称是洪迈人生的一个重要转折点，洪迈的人生从此蒙上了灰色。无论他如何排遣，这一生都带着抹不去的耻辱印记。他送辛弃疾的《稼轩记》中，这种自轻之意表露无疑。文中他简明有力地描绘了辛弃疾辉煌的经历、卓越的才能，鼓励他不要灰心气馁，应该戮力功名。接着笔锋一转拿自己类比，其中蕴义苍凉：
若予者，怅怅一世间，不能为人轩轾，乃当急须蓑衣，醉眠牛背，与荛童牧竖肩相摩。幸未黧老时，及见侯展大功名，锦衣来归，竟厦屋潭潭之乐，将荷笠棹舟，风乎玉溪之上。因园隶内谒曰：“是尝有力于稼轩者。”侯当辍食迎门，曲席而坐，握手一笑，拂壁间石细读之——庶不为生客。
伥伥者，若有所思无所思，若有所欲无所欲也。不为人轩轾，亦即不为人重视。洪迈写作此文时在淳熙八年，距出使金国归来已有十八年。当年四十壮硕，如今将届花甲。这个年纪本应该一切看开、从心所欲，而洪迈犹然以不为人重感慨，可见出使辱命之后心路的艰难。
洪迈遁世思想更为严重。人生有时候就是这样的奇怪，天堂与地狱，成功与失败，英雄与懦夫仅仅取决于那么一两事，一两人，一两天。一念之差，上天入地。这样奇剧的人生变化，作为身在局中的他，只能无奈地归之于命运。在命运面前，人是无奈的。只有修诚敬天，自然顺变。这种宿命论对他以后创作《夷坚志》发生了重要影响。
经此一事，洪迈在仕途中少了几分书生意气，而多了几分智者的狡黠。从他上奏表文中可以一窥端详，前期涉及范围很广，出语犀利，用词痛切，激昂之情溢于言表。后期转而雍容含蓄，语气平缓深得中庸之道。如绍兴三十二年，洪迈上高宗允准金使依例观游中痛陈种种，甚至直接揭露最高统治者的疮疤，指出显仁皇后丧期也不曾禁止金使游玩。末句更是无礼，直云“望令有司依例施行”，几乎就是命令皇帝了。如此书生意气当真满纸可掬。而出使之后的奏折则大部分都避开了当时的紧要话题，专选小事敲边鼓。更有甚者，上书把皇帝的几句歪诗吹到了天上：
乾道御制春赋云云。洪迈跋曰：乾道四年正月庚寅，诏赐臣迈春赋一首，凡四百七十有二言。云汉为章，奎壁绚耀。照回之光，下饰万物。臣拜而言曰：古今能文者多矣，惟广大高明开阖造化，然后足以为帝王之文章。帝王之文多矣，惟经纬天地鼓舞动植，然后足以尽圣人之能事。元首之歌，薰凤之辞，汤盘之铭，方策所载，昭然若揭日月。汉祖沛中之歌，高简雄亢，读之竦然使人毛发欲立。武帝悼河功之不成作瓠子之歌，纡徐曲折可以一唱而三叹。然鸿鹄高飞之讴，连娟修缦之赋，惑于嫔嫱，心折气沮。彼二君者，岂真帝王所以为文者哉？陛下以天纵之圣，高视万古，肆笔成书，震撼一世。巍乎其如天，暖如其如春。嵩衡岱华，不足以为高；黄钟大吕，不足以为清。乾坤施生之妙，阴阳动化之则。探端索至，发其机缄。大哉言乎！直与诗书邱索相表里，天之斯文于是无复余地。
作为一位文学大家，这样肉麻的吹捧实在是对自己人格的贬低和侮辱。
洪迈痛苦地走上了一条对自己的行为进行心理消解辩解的道路。《容斋续笔》卷八《蜘蛛结网》中隐约显露了他的心路历程：
佛经云：“蠢动含灵，皆有佛性。”庄子云：“惟虫能虫，惟虫能天。”盖虽昆虫之微，天机所运，其善巧方便，有非人智虑技解所可及者。蚕之作茧，蜘蛛之结网，蜂之累房，燕之营巢，蚁之筑垤，螟蛉之祝子之类是已。虽然，亦各有幸不幸存乎其间。蛛之结网也，布丝引经，捷急上下，其始为甚难。至于纬而织之，转盼可就，疏密分寸，未尝不齐。门槛及花梢竹间，则不终日，必为人与风所败。唯闲屋篞垣，人迹罕至，乃可久久而享其安。故燕巢幕上，季子以为至危。李斯见吏舍厕中鼠食不洁，近人犬，数惊恐之，仓中之鼠食积粟，居大庑之下，不见人犬之忧，叹曰：“人之贤不肖，譬如鼠矣，在所自处耳！”岂不信哉？
人间事处高而危，处卑则安。也许是他终于看出金与宋之间在国力、民气、君志方面的差距，所以从出使之后，再没有看到洪迈慷慨激昂要求兴复中原，只看到他治政理民，备边求和。如他上孝宗皇帝淮南边备书，《宋史·洪迈本传》载其大略：
明年，召对。首论淮东边备六要地：曰海陵，曰喻洳，曰盐城，曰宝应，曰清口，曰盱眙。谓宜修城池，严屯兵，立游椿，益戍卒。又言“许浦宜开河三十六里，梅里镇宜筑二大堰，作斗门，遇行师，则决防送船。”又言“冯湛创多桨船，底平樯浮，虽尺水可运。今十五六年，修葺数少，不足用。”谓宜募濒海富商入船予爵，招善操舟者以补水军，上嘉之。
他提到的措施有修建六个要地的城池，加强六个地方的戒备，在淮河中设置漂浮的木障，增加六个地方的防守兵力，在前线开运河设水闸，加强水军，添置和搜罗船只等等。这些建议全部无一例外是防御性的。由于孝宗历来志在北伐，时刻想要主动进攻收复中原，因此这份纯防御性质的边备书实质上是一份委婉的谏词。