永和四年（公元348年）十二月，东晋任命左光禄大夫、领司徒、录尚书事蔡谟为侍中、司徒。蔡谟上书执意推辞。他对亲近的人说：“如果我当了司徒，必将为后人所耻笑，我不敢接受。”
直到永和六年（公元350年），蔡谟还是没有没有就任司徒之职。诏令多次下达，太后也派人说明意图，蔡谟最终还是没有接受任命。
于是晋穆帝临朝，派侍中纪据、黄门郎丁纂前往征召。蔡谟向他们陈说自己身患重病，并派主簿谢攸陈述自己辞让的意见。从早到晚，使者往返十多次，蔡谟还是不肯上任。
当时穆帝年仅八岁，临朝一天，非常疲倦，他问道：“所征召的人为什么还不来？临朝要到什时候才结束？”于是，太后下诏说：“必定不会来了，结束临朝吧。”
中军将军殷浩奏请免除吏部尚书江虨的官职。会稽王司马昱给尚书曹下令说：“蔡谟傲慢，违抗皇上命令，没有臣下之礼。如果皇上在上面卑躬屈膝，臣子在下面不履行君臣大义，那就不知道靠什么来处理朝政了。”于是，公卿们上书说：“蔡谟狂妄傲慢地对待皇上的命令，罪同叛逆，请求将他送交廷尉依法论处。”
蔡谟十分害怕，率领子弟们到朝廷叩头谢罪，自己到廷尉等待治罪。殷浩想处死蔡谟，恰巧徐州刺史荀羡入朝，殷浩就问荀羡，荀羡说：“如果蔡公今天被处死，明天就一定会出现齐桓公、晋文公那样举兵问罪的举动。”殷浩就放弃了。朝廷下诏将蔡谟贬为庶人。
蔡谟不愿就任司徒一职，本无可厚非，但国家面临危机，他却没有担当精神，被免去官职也不算冤枉。
只是，朝廷和群臣给出的理由是狂妄傲慢，着实难以服众。蔡谟是谦逊退让，并非狂妄傲慢。而对真正的狂妄傲慢者——桓温，朝廷和群臣却不敢过问，只能无可奈何。