“不要命”、“不要官”之外，彭玉麟还有一大美德，即“不要钱”。咸丰四年(1854)冬，彭玉麟率湘军水师配合陆师攻陷了太平军的要地田家镇后，清廷奖给他4000两白银，他却转而用于救济家乡。他在给叔父的信中说：“想家乡多苦百姓、苦亲 戚，正好将此银子行些方便，亦一乐也。”还要求他叔父从中拿出一些银两在家乡办所学堂，期望为家乡“造就几个人才”。他要求自己和家人却甚为严苛。当他得知儿子花费2000串铜钱修葺了家中老屋之后，即去信严辞斥责：“何以浩费若斯，深为骇叹。”说他一贯将“起屋买田视作仕宦之恶习，己身誓不为之。不料汝并不来信告示于我，遽兴土木；既兴土木之后，又不料汝奢靡若此也。外人不知，谓吾反常，不能实践，则将何颜见人!”其实，他儿子修葺后的老屋也不过是三间土墙瓦屋而已。
彭玉麟自律甚严，但对他人却十分阔绰，他自己的钱，常常用于周济穷困的亲友，赠予凯旋的部下，还积极赞助公益事业，现在衡阳城内的船山书院就是他一手捐建的。彭玉麟在去世前将为官几十年的官俸、养廉、经费等等加起来上百万两的收入全部捐出来做了军费。
清代书画有两绝，一为郑板桥的“墨竹”，二为彭玉麟的“梅花”。彭玉麟工书善画，尤精于画梅，所画梅花风骨凛然，虬枝如龙，花似血溅，人誉之为“兵家梅花”，时人多以为神品。其画梅之爱好来自于他以罕见的痴痴柔情演绎的旷世之“梅姑之恋”：彭玉麟小时候曾经住在安徽安庆的外婆家里，最喜欢跟外婆的养女梅姑一起玩耍。梅姑虽然只比彭玉麟大一点点，但是从辈份上讲，她是彭玉麟的小姨。两人青梅竹马，两情相悦，私定终身。但两人的恋情因为八字不合遭到家长的反对。后来彭玉麟跟着全家搬回衡阳去，他和梅姑不得不忍痛分别，而这一别就是14年，彭玉麟已娶妻成家。
在彭玉麟30岁的那一年，他听说舅舅在安庆去世了，外婆和梅姑没有人赡养，于是他赶紧就派了自己的弟弟去安庆，把外婆和梅姑接到衡阳来住。而梅姑来到彭家没多久，彭玉麟的妻子嫉恨彭玉麟与梅姑的关系，唆使彭玉麟的母亲把梅姑嫁出去了。彭玉麟曾经考虑要阻止这件事情，但是因为决断迟了，错过了最后挽回的时机。梅姑出嫁四年以后，死于难产。彭玉麟伤心得捶胸顿足，在梅姑坟前立下誓言，要一生画梅，以万幅梅花纪念她。彭玉麟后来在诗中写到“前机多为因循误，后悔皆以决断迟。”
彭玉麟说到做到，他画了整整40年，才完成了以万幅梅花纪念梅姑的承诺，而且他丧妻后终生未娶。他画的梅花：干如铁，枝如钢，花如泪。他辞官隐居期间，一是在湖口的水师昭忠祠旁边建厅，遍栽梅花，号称“梅花坞”，即今天石钟山的著名旅游景点梅花坞；二是在家乡筑“退省庵”，在庵里吟诗作画，画梅数量达万幅余，而且每幅必自题一诗，无一雷同，而句意必有所托。每成一幅，必盖一章曰“伤心人别有怀抱、一生知己是梅花”。可见彭玉麟对梅姑的爱是那样的刻骨铭心，也可见他这个人的痴情奇绝、遗世独立。
光绪十六年（1890年）三月，彭玉麟以平民之身病逝于衡阳城内的退省庵，终年75岁。他死后被御赐为太子太保，建专祠纪念，赠谥号刚直。著有《彭刚直公奏稿》、《彭刚直公诗集》。曾任两广总督和湖广总督的张之洞评之为“加官不拜，久骑湖上之驴；奉诏即行，誓翦海中之鳄”，并为他写下一首五言长诗：“神州贯长江，其南际涨海。江海幸息浪，砥柱今安在……”彭玉麟的同时代人，曾任翰林院编修的著名学者俞越称其为“咸丰、同治以来诸勋臣中始终餍服人心，无贤不肖交口称之，而无毫发遗憾者”的唯一一人”，评价之高，足见彭玉麟名声之重。时任湖北布政使的陈宝箴在悼念彭玉麟的挽联中写道：“不要钱，不要官，不要命，是生平得力语，万古气节功名都从此。”(刘继兴)