孔子祛是会稽山阴(今浙江绍兴)人,从小孤贫好学,下田耕耘,上山砍柴,常常随身带着书,一有空闲就拿出来诵读。勤苦磨砺,终于通晓经术,尤其精通《古文尚书》。起初做官为长沙嗣王侍郎,兼任国子助教,前后四十次主讲《尚书》,听众常常多达几百人。