寇说谦之受道不久，成公兴对寇谦之说：“先生如有意学道，当随公兴隐遁深山。”寇谦之欣然同意。于是，洁斋三天，便随成公兴离家修道去了。寇谦之先随成公兴到华山，采得仙药，服后不饥；不久，师徒劳俩即前往嵩山，潜心修道。
嵩山，居五岳之中，故称“中岳”，属古都洛阳京畿之地，在登封县北，道教三十六小洞天之第六洞天。中岳后被封神为“中天王”。中岳有二山七十二峰，以太室山峻极峰、少室山五乳峰为最有名。自汉武帝封禅中岳之后，中岳成为仙人道士的修炼之地。西晋爵著名道士鲍靓曾登嵩山，入石室，得古《三皇文》，修炼成仙，所以，成公兴、寇谦之踵随前人，来到嵩山。他们选定太室山中石室住下修炼。成公兴将全部修炼秘诀传给寇谦之，寇谦之聪明好学，日益长进。
成公兴在嵩山传授道法，不觉已到七个年头，该是自己回归天宫的时候了。临别时，成公兴再三嘱咐寇谦之：“你潜心道教，志向可嘉，但尘缘未了，七情六欲未断，难赴仙路，不过，需加勤奋，将来可做帝王之师，亦为大器。”寇谦之聆听师教，不敢有丝毫怠慢。成公兴去后，寇谦之“守志嵩岳，精专不懈”，并开始招收弟子，讲经施术，弘扬道教。
寇谦之在嵩山修炼达三十年之久，一副道貎岸然的气派，仙风飘然的神韵，他自知外形可以为国师，但内质上却空泛无几，要想更上一层，需在这方面下功夫。于是，寇谦之决定要从道教本身动真格了。
寇谦之经成公兴点化，悟出了上述的道理，为此，他就制作了自己托天神，降授的畅想曲。
北魏神瑞二年（415年），寇谦之在嵩山少室石室托言太上老君在仙人玉女拥护，百灵导从之下，降临嵩山，告诉谦之说：“往岁，嵩山山神上奏天曹，称自从天师张道陵去后，地上修道的人无所师授。今有嵩山道士寇谦之立身直理，行合自然，堪处师位。吾故来授汝天师之位，赐《云中音诵新科之诫》（即《老君音诵戒经》）。汝宣吾新科，请整道教，除去三张伪法、租未钱税及男女合气之术，专以礼度为首，而加服食闭炼。”
自此，寇谦之以“天师”身份，宣扬道教，并对“天师道”进行“三整顿”。使天师道以新的面貌在世间传播。北魏明帝泰常八年（423年），正当秋高气爽、晴空万里的金秋季节，寇谦之端坐石室，正诵《老君音诵诫经》，忽然少室山颠，云蒸霞蔚，灵光普照，在五彩缤纷的云上端坐着一位神仙，这是老君玄孙，上师李谱文降临。寇谦之立即走出石室，仰望拜谒。上师说：“受老君之命，特为授汝能‘劾召百神’，定‘坛位礼拜，衣冠仪式’的《录图真经》，并传授销炼金丹、云英、八石、玉浆之法，望谨慎奉持，辅佐北方泰平真君。”
自此，寇谦之以“国师”的身份，到处游说，自认为跻身朝廷，给道教争地位的时机己经到来。
也就在这一年，北魏太武帝拓跋焘继皇帝位。十月，初冬来临，寇谦之卧居嵩山三十年的雄厚资本积累成了，他戴着“天师”桂冠，离开嵩山施展抱负，而做他的“国师”美梦了。