张缅开始做官为秘书郎,后出任为淮南太守,当年十八岁。梁高祖怀疑他年纪轻轻不熟悉公务,就派主书向郡府各衙门提取一批文件,发现他断事批文确实令人满意,十分赞赏。任满回朝后,任命为太子舍人、云麾外兵参军。张缅从小勤学,严格要求自己读书,手不释卷,尤其精通东汉和晋代各家史书。有一次,客人拿着书考问张缅,张缅随问随答,毫无遗漏之处。