刚直能诗善书，圆而劲，写梅其余技也。尝书一幅以赠某君曰："西湖亭在水中央，镇日笙歌画舫忙。最是嫩晴天气好，赤兰干袅绿垂杨。"刚直收复小孤山，有诗云："十万大军齐奏凯，彭郎夺得小孤回。"一时传为名句。某提督语人曰："可惜我不会做诗，更可惜我不姓彭。其实我收复小孤山三日，彭雪琴尚未到呢。"闻者不禁失色。刚直卜居三潭映月，杖屦萧然，不知者几疑为村叟。尝至乡垫间听子弟读书声，犹有文人结习。其《题仓颉庙》一联云："一画本天开，破上古洪荒，草昧无须绳更结；六书随世换，供后人摹写，英雄未免笔难投。"亦可觇其志向矣。又公名所居曰"退省庵"，四面临湖，孤亭悬峙。落成后，自榜一联于柱曰："退食有余闲，当载酒人来，莫辜负万顷波光，四围山色；临流无俗虑，看采莲船去，只听得一声渔唱，几杵钟鸣。"儒雅风流，无过于此。
彭刚直奏疏六卷，附诗一卷，身前镌板行世。联语为友朋酬应之物，技类雕虫，故不阑入本集；且偶尔落笔，日久漫不记忆。然东云一鳞，西云一爪，散见于当世收藏家者，正复不少。如挽浙越范若士农部联云："农部一官，才长命短；钱塘八月，魂去潮来。"若士与刚直有旧，十七举孝廉，有文名，三应春官试不第，供职农曹。旋请修墓假回里，客退省庵，流连旬余而别。渡钱塘江，舟覆身死。又挽其甥某太守曰："定论盖棺，总系才名辜马谡；灭亲执法，自挥老泪哭羊昙。"其甥由军功保至太守，因贻误军情为刚直所杀，年才冠耳。其甥负才名，好大言，故以马谡比之。西湖彭刚直公祠悬一联云："千古两梅妻，公几为多情死。西湖三少保，此独以功名终。"可谓超以象外，得其环中，惟上句尚嫌失实耳。