张缅开始做官为秘书郎，后出任为淮南太守，当年十八岁。梁高祖怀疑他年纪轻轻不熟悉公务，就派主书向郡府各衙门提取一批文件，发现他断事批文确实令人满意，十分赞赏。任满回朝后，任命为太子舍人、云麾外兵参军。张缅从小勤学，严格要求自己读书，手不释卷，尤其精通东汉和晋代各家史书。有一次，客人拿着书考问张缅，张缅随问随答，毫无遗漏之处。
