神龙元年（705年）正月，张柬之趁武则天病重之时，准备诛杀张易之兄弟。此时，姚崇正好回京，姚崇与张柬之等人经过谋划，杀死张易之兄弟。随后，又逼武则天让位于太子李显。李显复位以后，姚崇担任宰相之职。
武则天迁居上阳宫以后，王公大臣们个个喜形于色，只有姚崇一个人呜咽流泪。
张柬之劝道："您不要在今天流泪，会惹祸上身的。"
姚崇哭道："我和你们一起诛杀张易之兄弟，是臣子应该做的，不敢邀功，现在突然要离开侍奉多年的则天皇帝了，心中感到难过而哭泣，如果由此获罪的话我也心甘情愿。"不久，姚崇就被中宗李显贬为刺史。
姚崇之所以悲伤，主要是因为他见昏庸的中宗继位后，面对武氏家族的势力，一场激烈夺权斗争在所难免，他不想成为这场权利之争的牺牲品，才会"以一涕谢诸武"。
果然不出姚崇所料，张柬之等五人第二年就在流放途中遇害身亡，而姚崇因远离京城免于一死。
不久，韦后和女儿安乐公主合谋，毒死了中宗。李隆基策动禁军发动政变，将韦后和安乐公主及其党羽一网打尽。相王李旦恢复帝位。
睿宗李旦即位以后，姚崇再次当上了宰相。此时，姚崇名为宰相，却没有任何实权，真正掌权的是太平公主。
太平公主干预朝政，一心想效仿其母武则天。为了防患于未然，姚崇建议将太平公主安置在东都洛阳。不想昏庸的睿宗却将这件事如实地转告了太平公主。
太平公主大怒，李隆基为了争取主动，主张严惩姚崇等挑拨皇上与太平公主兄妹关系的人。于是，姚崇被贬为申州刺史。