，高宗、收后也根本不听。
最让张柬之们气恼、害怕的是，复辟皇帝未出一个月便和他们的死仇大敌武三思打成一块，不仅共同把持朝政，而且私通乱性，简直腥臊臭气不堪闻问。
张氏兄弟被杀后，诸武并未与闻。洛州长史薛季昶劝张柬之等：“二凶虽除，产、禄在，去草不去根，终当复生。” （产、禄是西汉吕后的族人吕产、吕禄，这里比之武三思等）但张柬之等却说：“大事巨定，彼犹几上肉耳，夫何能为” 薛季昶说：“吾不知死所矣”朝臣县尉刘幽求也劝桓彦范和敬晖：“武三思尚存，公辈终无葬地；若不早图，噬脐无及”他们也都不听。
然而，武三思油滑之徒，自庐陵王复为太子，便主动巴结之。女皇也抱着愧疚心理，亲自作媒，把太子女安乐公主，嫁给武三思之子武崇训，使太子与武三思成了儿女亲家。两家往来亲热，武三思竟与韦后勾搭成奸。
其牵线人便是上官婉儿。上官婉儿才情出众，但也甚为风流，随侍女皇时已与张宗昌偷摸成奸。曾被女皇现其私情，但以为并未成奸，还把她送给李显，又成了李显的婕妤，专司诏书。待武三思与李显成了儿女亲家，上官婉儿混迹其间，又与武三思成就露水姻缘。韦后与上官婉儿同侍奉宗，共同认为宗的房事无能。上官婉儿为讨好韦后，便把武三思介绍给她，于是，韦后又与武三思勾搭一起。[《资治通鉴》，卷o8，神龙元年二月，《新唐书》，卷o6，《外戚传?武三思》。]
韦后既与之通，韦氏又言于宗，劝谏重用。于是，武三思便成了宗的宰相，张柬之等朝宰“皆受制于三思矣”。
这么复杂的变故，都生宗复辟后的一个月内。在宗即位的第二十四天，前太子宾客武三思便被任命为司空、同书门下三品，原右散骑常侍、安定王武攸暨被任命为司徒、定王，武懿宗也受到重用，典掌东都军权，武三思公然出入宫禁，“上便韦后与三思双陆，而自居旁为之点等，三思遂与后通，由是武氏三势复振。”这也是《通鉴》的记述，意思是宗让武三思坐在韦后和他的龙床上，让他们俩玩双陆游戏，自己在旁边为他们点筹码。这可真是古今罕见的昏庸皇帝，百姓常言：“自己被人卖了还替人点钱。”宗比百姓说的还要严重一些的。外面也纷传着他们的更多丑闻[《旧唐书》卷5，《宗韦庶人传》。]。
至此，张柬之等人才知不妙，但为时已晚。张柬之又急切地劝谏：“**之际宗室诸李，诛夷略尽，今赖天地之灵，陛下返正，而武氏滥官僭爵，按堵如故，岂远近所望耶愿颇抑损其禄位以慰天下”宗仍不理睬。张柬之等人议论说：“主上昔为英王，时称勇烈，吾所以不诛诸武者，欲使上自诛之以张天子之威耳。今反如是，事势已去，知复奈何”一个个懊悔，有的“抚床叹愤”。有的“弹指出血”。
宗还经常离殿微服去武三思家里玩乐，御史崔皎密奏：“国命初复，则天皇帝在西宫，人心犹有附会；周之旧臣，列居朝廷，陛下奈何轻有外游，不察豫且之祸”宗把密折给武三思看，武三思深恨之