王祥于东汉末年出生于山东琅琊临沂（今山东临沂县）。
王祥是西汉忠臣谏议大夫王吉的后代。他早年丧母，一年冬天，继母想吃活鱼，他卧冰求鲤，成为二十四孝之一。
汉末，王祥携弟扶母避乱庐江，隐居三十余年，不肯出山到官场与小人同流合污。
继母去世后，王祥应徐州刺史吕虔之聘，担任别驾，曾率军平寇，使一州太平无事，百姓作歌颂扬道：“海沂之康，实赖王拜；邦国不空，别驾之功。”
后来，王祥被举荐为秀才，出任温县县令，升任大司农。
魏国曹髦继位后，王祥拜为光禄勋，转司隶校尉，迁任太常，封万户亭侯，担任三老，做了皇帝的老师。晋武帝司马炎建立晋朝后，拜王祥为司空，进爵为公，加七官之职。
王祥临终前曾留下遗嘱，即千古闻名的《训子孙遗令》。这篇名文从薄葬讲到立身，讲到如何流芳百世，是对其子孙的谆谆教诲，也是对世人的有益教导。
王祥在这篇名文中说：“人生在世，有生也有死，这是自然之理。我已经85岁，即使死了又有什么遗憾？如果没有临终遗言，会使你们没有遵循的原则。我生于汉末，多次被荐举，得以一展才华，但我并没有辅佐君王之功，死了也无法报恩。我断气后只要给我洗洗手和脚就行了，不要麻麻烦烦地为我洗头发洗身子，也不要用绸布缠包尸体。把我的旧衣服洗一下，将平时所穿的衣服给我穿上就行了，不要特意缝制新衣。皇上赐给我的山玄玉佩、卫氏玉玦、系印的丝带和盛器都不要随葬。西芒山上土质又硬又纯，不要再用砖石垒砌，更不要筑坟。墓穴只挖二丈深，外棺只要能容纳内棺即可。不要设灵堂、摆灵座、置镜匣，棺材只要能放下一张床就行了。干饭干肉各置一盘，薄酒只须一杯，作为早晚祭奠的祭品。家人大大小小都不要为我送葬，到一周年祭日和两周年祭日时再供牛、猪祭品。你们千万不要违背我的遗命。当年，高柴因父母去世而泣血三年，孔子说他愚。闵子骞服孝期满，去见孔子，孔子让他弹琴，琴声依然悲切，孔子说他孝。心里有我就行了，不要流于形式。丧葬期间如何饮酒吃饭，自有古人定下的制度。言行能经得住审核，这是最高的信；推辞赞美主动揽过，这是最高的德；扬名耀祖，这是最大的孝；兄弟和乐，这是最大的悌；面对金钱而能推让，这是最高尚的了。这五点，是做人立身之本，你们要终身奉行。”
这篇移风易俗的名文，对后世一直起着指导作用，其意义是不可估量的。