褚遂良于永徽六年九月被貶黜為潭州都督，使太尉派受到了沉重打擊，太尉派不甘沉淪，展開了營救行動。
侍中韓瑗在廢王立武過程中曾經(jīng)涕泣進(jìn)諫，與褚遂良保持前后呼應(yīng)，褚遂良被貶半年后，韓瑗挖空心思寫成疏議上奏論理。
大意是說褚遂良勤勞忠誠，體國忘家，從被貶到如今已經(jīng)度過寒暑，違忤陛下之罪已經(jīng)受到懲罰，請求寬宥以順人情。
疏議寫得比較長，用情比較深，李治御覽后對韓瑗說：“褚遂良的情況朕也知道，但他悖戾犯上，朕無法忍受，所以用忤旨罪名左授他為潭州都督，朕難道有過錯(cuò)嗎？卿說了這么多，情感又這樣深，是想得太多了吧！”韓瑗默然而退。
這次營救無果，太尉派并未放棄，韓瑗繼續(xù)與褚遂良書信來往。
顯慶二年三月，韓瑗和中書令來濟(jì)上奏請移潭州都督褚遂良到桂州，以此為條件換取同意擁武派李義府兼中書令。
潭州治所在今湖南長沙，中都督府，管理郴州、永州等7州，而桂州治所在今廣西桂林，也是中都督府，管理梧州，賀州等12州，風(fēng)光秀麗，是歷代兵家要沖。將褚遂良移到桂州，看似平級調(diào)動，實(shí)際上是擴(kuò)大了實(shí)權(quán)。
李治給了太尉派一個(gè)面子，爽快同意了奏請。褚遂良到桂州以后，一方面游歷桂林山水，排遣一年多來胸中郁結(jié)，一方面加強(qiáng)州府治理，修繕守備。
且說武后的成功得益于小人物的通風(fēng)報(bào)信，所以武后十分重視對“耳目”的培養(yǎng)，不惜重金獎(jiǎng)賞，宮內(nèi)耳目密布，監(jiān)視李治和其他妃嬪的動靜，宮外也嚴(yán)令擁武派培養(yǎng)“耳目”，監(jiān)視政敵。
太尉派自以為得計(jì)，卻不料武后早已令許敬宗、李義府暗中加強(qiáng)對太尉派的監(jiān)視。褚遂良在桂州的一舉一動以及與京城官員的驛馬往來，武后都能及時(shí)知道，時(shí)機(jī)成熟就向李治報(bào)告。
轉(zhuǎn)眼到了盛夏，許敬宗的監(jiān)控人員截獲了韓瑗與褚遂良的書信，上報(bào)給武后，武后又報(bào)告給李治。
李治見掌握了太尉派的真憑實(shí)據(jù)，大喜過望，結(jié)合以前收集的材料，指責(zé)韓瑗、來濟(jì)與褚遂良聯(lián)合起來潛謀不軌，因?yàn)楣鹬菔怯梦渲?，所以故意調(diào)褚遂良為桂州都督，以為外援。
借此罪名，左授侍中韓瑗為振州刺史，振州在今海南三亞，是天涯海角所在地，比桂林遠(yuǎn)多了。
又將中書令兼太子詹事來濟(jì)左授臺州刺史，臺州在今浙江，這個(gè)懲罰相對較輕。因?yàn)閬頋?jì)沒有書信方面的把柄，又輔助過太子李弘。
再貶黜褚遂良為愛州刺史，愛州又名九真郡，比天涯海角還要遠(yuǎn)，在今越南清化西北。在交通不便的古代要走到此處，真的是要經(jīng)歷千難萬險(xiǎn)。
又把榮州刺史柳奭左遷為象州刺史，讓他在路上折騰。太尉派骨干到此基本上被一鍋端了。而禮部尚書許敬宗被提拔為侍中，以示褒獎(jiǎng)。
褚遂良從桂州出發(fā)，經(jīng)過長途跋涉到達(dá)愛州，疲憊不堪，又不適應(yīng)這里的熱帶叢林氣候和蚊叮蟲咬，經(jīng)常生病，連累家人，實(shí)在受不了，只好不顧老臉上表乞憐。
乞憐表的大意是說自己在李承乾、李泰交爭之際曾經(jīng)對抗岑文本、劉洎，為李治進(jìn)入東宮立下大功，又在先帝病危之時(shí)擁立李治，處分朝政瑣事，使內(nèi)外寧謐，這也是一件功勞，所以乞陛下哀憐。
表奏上后，時(shí)已隆冬，武后在洛陽宮烤火，覽表后一笑了之，將表扔進(jìn)爐子引火。而李治親手寫了一道詔書，改洛陽宮為東都，洛州官員階品并準(zhǔn)參照雍州標(biāo)準(zhǔn)，將河陽、濟(jì)源等地劃歸洛州管轄。
長孫無忌也收到了褚遂良的求援信，礙于情面不能不向外甥求情，但自己早已失禮于外甥，又沒有朝拜皇后，如何見面求情？
實(shí)在是尷尬至極。恰巧太常博士上報(bào)《顯慶禮》即將修成完工，長孫無忌正好可以借獻(xiàn)新禮機(jī)會面見外甥。
顯慶三年正月初五，《顯慶禮》全部修成，共一百三十卷，二百五十九篇。本來是一卷二篇，但因?yàn)樘２┦渴挸恼J(rèn)為臣子不應(yīng)該說皇帝的兇事，得到許敬宗、李義府的贊同，所以焚毀《國恤》一篇。
早上，太尉長孫無忌領(lǐng)頭到洛陽宮宣政殿站班，許敬宗、李義府隨后，向李治報(bào)告《顯慶禮》修繕情況，并對修成表示祝賀。李治下詔將《顯慶禮》頒于天下，中外施行。
匯報(bào)會被許敬宗、李義府搶了風(fēng)頭，特別是李義府口若懸河、滔滔不絕，詳細(xì)敘述《貞觀禮》的不足和缺失，贊揚(yáng)《顯慶禮》的完備和翔實(shí)，搞得長孫無忌都忘了求情這回事了，一直到散會都沒有為褚遂良說一句話。
仲春時(shí)節(jié)，李治從東都啟駕回京，二月廿一日，回到長安太極宮。
不久，傳來軍事上的捷報(bào)，蘇定方、蕭嗣業(yè)攻破西突厥大軍，生擒沙缽羅可汗賀魯，收獲西突厥人口、牲畜四十余萬，平定西域。
李治下令在西域設(shè)置濛池都護(hù)府和昆陵都護(hù)府，又在龜茲國設(shè)置安西都護(hù)府，以高昌故地為西州。
大唐帝國的版圖大大擴(kuò)張了，李治高興之余忽然意識到這是武后不拘一格降人才的功勞，而且自武后從感業(yè)寺回宮后，自己的好運(yùn)是一個(gè)接一個(gè)，無論家庭還是國家，都是一帆風(fēng)順。
李治對自己的慧眼識珠真是太滿意了，認(rèn)定武后是自己的福星，是昊天上帝對自己的恩賜，所以對武后自然而然言聽計(jì)從了。
轉(zhuǎn)眼到了盛夏時(shí)節(jié)，李治派遣營州都督程名振、右領(lǐng)軍中郎將薛仁貴率兵進(jìn)攻高句麗，又收到攻克赤烽鎮(zhèn)的捷報(bào)。
與李武的好運(yùn)連連相比，褚遂良就可憐多了，可謂惡運(yùn)連連。
愛州屬于熱帶氣候區(qū)，氣溫高、濕度大，又多風(fēng)雨，褚遂良年邁體衰，不適應(yīng)這種氣候環(huán)境，經(jīng)常感冒，又受到蚊叮蟲咬和南方瘴氣的困擾，感染瘧疾，很快一病不起、與世長辭了。
因?yàn)槁吠具b遠(yuǎn)，褚遂良的死訊到年底才傳到長安，當(dāng)時(shí)朝廷正在隆重舉辦鄂國公尉遲敬德的葬禮，對褚遂良的死給予了冷處理。
中書令李義府有一顆不安分的心，仗著有寵于上，竟然發(fā)動全家貪污腐敗，母親、妻子、兒子、女婿，一起上陣賣官鬻爵，門庭若市。
同樣是中書令的杜正倫比李義府資格老，站朝候班、議事署名都想搶在李義府前頭，而李義府經(jīng)常和他爭執(zhí)，不愿意處在他下面，所以有了矛盾。
杜正倫看到李義府全家貪污受賄而無事，忍不住與中書侍郎李友益謀劃驅(qū)逐李義府，被李義府探知消息，密告李治。
上朝時(shí)，杜正倫當(dāng)著李治的面批評李義府，李義府也大聲爭辯，大有當(dāng)年褚遂良脫帽進(jìn)諫的架勢。李治很不高興，喝斥二人停止?fàn)幊常缶C藝主持人一樣控制住了朝堂場面。
事后，十一月六日，貶斥杜正倫為橫州刺史，李義府為普州刺史，李友益流放峰州。杜正倫不久在橫州逝世。朝廷職事不可空缺，九日，任命侍中許敬宗為中書令，大理卿辛茂將為侍中。
本來武后想在顯慶三年就動手除掉太尉派的，結(jié)果李義府又捅了漏子，只好拖到下一年。
顯慶四年正月，武后召見了許敬宗，一起商議如何除掉太尉派的事。
武后認(rèn)為太尉長孫無忌接受了十車禮物卻不贊成廢王立武，違背人情，又不愿意朝拜皇后，失去人臣之禮。
許敬宗深以為然，也講了自己勸說長孫無忌的事，勸他認(rèn)清形勢，擺正位置，知道進(jìn)退、利害、得失，但他不聽，還當(dāng)面斥責(zé)自己。于是二人面對共同的敵人，制定了斗爭方略。
武后又勸李治廣納賢才，以作儲備，當(dāng)一批官員被拿下后，儲備官員能夠立即頂上，不至于國家機(jī)構(gòu)停擺。李治也深以為然。
仲春二月，當(dāng)科舉會試考完放榜，考上的舉人成為貢士，正沉浸在喜悅中，李治突然宣布要對所有的舉人進(jìn)行策試，由皇帝親自監(jiān)考，選拔國家需要的人才。
策試在宮內(nèi)規(guī)模最大的太極殿舉行，共九百名舉人參加考試，李治親自坐殿監(jiān)考，只考策問。禮部官員負(fù)責(zé)點(diǎn)名、散卷，引導(dǎo)舉人贊拜、行禮，然后頒發(fā)策問題目，到傍晚時(shí)分收卷。
李治和武后一起親自閱卷后，欽定郭待封、張九齡等五人居上第，成為進(jìn)士，令他們待詔弘文館，隨仗供奉。這是中國歷史上的首次殿試。
殿試后不久，李治收到了洛陽人李奉節(jié)的告狀信，內(nèi)容是狀告太子洗馬韋季方和監(jiān)察御史李巢勾結(jié)朋黨，狼狽為奸。
各位看官，皇帝是如何能收到平民百姓的訴狀呢？平民百姓又如何能了解官場上的秘密事呢？
很明顯，這是武后和許敬宗在背后運(yùn)作的結(jié)果。她們的情報(bào)網(wǎng)絡(luò)十分發(fā)達(dá)，對官場動態(tài)特別是政治對手的秘密是了如指掌的，請個(gè)可靠的平民百姓抄寫一下訴狀，再代為遞上是完全可行的。
李治看完告狀信后，敏銳地意識到韋季方是太尉派官員，而李巢曾經(jīng)受李義府指揮，現(xiàn)在被太尉派拉攏是想干什么？于是敕命許敬宗和辛茂將審鞫這個(gè)案子。
這下正中許敬宗的下懷，他借鑒高陽公主謀反案的操作手法，大辦特辦。許敬宗派人不分晝夜審判韋季方和李巢，當(dāng)然重點(diǎn)是韋季方，不斷指出韋季方和長孫無忌的關(guān)系，暗示韋季方將長孫無忌牽連進(jìn)來。
由于審訊急迫，又用了刑具，韋季方驚懼不已，竟然用刑具自刺，但沒有死。許敬宗吩咐醫(yī)工為他療傷，然后寫了案卷上報(bào)，奏稱韋季方勾結(jié)朋黨的目的是想聯(lián)合長孫無忌構(gòu)陷忠臣近戚，從而使政權(quán)重歸長孫無忌，并伺隙謀反，今事情敗露，所以自殺，以免牽連更多的人。
李治看了案卷后驚問：“怎么會有這種事呢？元舅被小人離間，小生疑阻可能有，怎么可能謀反？”
許敬宗對：“臣認(rèn)真推究這個(gè)案子的來龍去脈，搞清了事情的始終，并非輕率上言，長孫無忌反狀已露，陛下卻猶豫不決，恐非社稷之福??！”
李治長嘆流淚說：“我家不幸，親戚間屢有異志，往年高陽公主與房遺愛謀反，今元舅又是這樣，使朕慚見天下之人。這件事情如果查實(shí)，該怎么辦呢？”
許敬宗一聽，眉毛一揚(yáng)，知道有戲，但皇帝一時(shí)難下決心，必須添油加醋、落井下石才行，于是捏了捏象牙笏，看了笏上面寫的提示，朗聲對道：“房遺愛是乳臭小兒，和一女子謀反，勢不可成！但長孫無忌不一樣，他與先帝一起謀取天下，天下服其智；當(dāng)宰相三十年，天下畏其威；如果一旦發(fā)難，陛下派遣誰去阻擋他呢？”
李治示意內(nèi)侍賜坐，許敬宗坐下繼續(xù)說道：“今賴宗廟之靈，皇天疾惡，因?qū)彴匆稽c(diǎn)小事，卻得到大奸大惡之情，實(shí)在是天下之慶??！臣竊恐長孫無忌得知韋季方自刺的消息后，窘急發(fā)謀，攘袂一呼，同惡云集，必為宗廟之憂?！?p> 李治側(cè)耳傾聽，饒有興致，許敬宗稍停，又說：“臣過去曾見宇文化及的父親宇文述被隋煬帝寵信，結(jié)以婚姻，委以朝政。宇文述死后，宇文化及又掌管禁兵，卻在晚上于江都謀反，先殺不依附自己的人，臣父許善心就死于那時(shí)。大臣蘇威、裴矩之徒見風(fēng)使舵，都舞蹈于馬首之下，唯恐不及，黎明遂殺隋煬帝。前事不遠(yuǎn)，愿陛下從速決定！”
李治暗想，這話分明是以宇文述來比喻長孫無忌，朕豈能做隋煬帝第二？但要處分長孫無忌又嫌證據(jù)不足，便命許敬宗再次審察。
第二天，許敬宗又上奏道：“昨天晚上韋季方已經(jīng)承認(rèn)與長孫無忌同反，臣又問韋季方：‘無忌是國家至親，累朝寵任，有什么怨恨而要謀反呢？’韋季方答：‘韓瑗曾對無忌說，柳奭、褚遂良勸公立梁王李忠為太子，今梁王既廢，皇帝也懷疑公，所以外放公的表弟太常卿高履行為益州府長史。自此后，長孫無忌憂心恐懼，漸漸謀劃自安之計(jì)。后又見族侄工部尚書長孫祥外放為荊州長史，韓瑗得罪，更加不安，所以日夜與韋季方等官員謀反?！紖Ⅱ?yàn)前后辭狀，全部相吻合，請收捕準(zhǔn)法?！?p> 李治一聽心中暗喜，夸獎(jiǎng)許敬宗辦事麻利，但表面上必須裝作傷心難過的樣子，示天下以仁慈的一面。
李治揉揉眼睛，流淚道：“元舅如果真的這樣做，朕決不忍心殺他。如果真的殺他，天下人將如何說朕？后世人將如何說朕？”
許敬宗似乎對這個(gè)問題早有準(zhǔn)備，立即振作精神對道：“薄昭，是漢文帝的元舅，文帝從代國回朝廷登基，薄昭也有功勞，他的罪名只不過是殺了一個(gè)人，文帝就派遣百官穿著素服哭祭而殺了他，至今天下人都說文帝是明主。今長孫無忌忘記兩朝大恩，謀移社稷，其罪責(zé)與薄昭不可同日而語呀！幸而奸狀自發(fā)，逆徒引服，陛下還疑慮什么？不早作決定？古人有言：當(dāng)斷不斷，反受其亂。安危之機(jī)，間不容發(fā)，長孫無忌就是今朝奸雄，王莽、司馬懿一類的人物，陛下少更遷延，臣恐變生肘腋，后悔無及了！”
李治聞言一驚，深以為然，不再招長孫無忌當(dāng)面責(zé)問。
四月廿二日，下詔削去長孫無忌太尉及封邑，掛職揚(yáng)州都督，于黔州安置，依舊準(zhǔn)一品供給。派遣大理正侯善業(yè)為使者，征發(fā)沿途駐兵援送長孫無忌一行前往黔州。
長孫無忌自褒斜道入蜀，走到褒河邊，顧影自憐，嘆息說：“這個(gè)外甥直接將顧命老臣一窩端，開創(chuàng)自己的新時(shí)代，接下來恐怕要賜老夫一條三尺白綾了，好手段啊，雉奴，舅服你！”
幾天后，許敬宗又上奏道：“長孫無忌謀逆，是由褚遂良、柳奭、韓瑗等官員構(gòu)扇而成，柳奭早已出京，但仍然潛通宮掖，謀行鴆毒，于志寧雖然是資深帝師，但也黨附長孫無忌?！?p> 李治準(zhǔn)奏，下詔追削褚遂良官爵，將柳奭、韓瑗除名，罷免太子太師于志寧官職，放還私第。
將長孫無忌的兒子秘書監(jiān)長孫沖、鴻臚少卿長孫渙、尚衣奉御長孫津、太常少卿長孫潤等十二子都除名，流放嶺表。褚遂良的兒子褚彥甫、褚彥沖流放愛州，在半路上又借故把他們都?xì)⒘恕?p> 益州長史高履行左授洪州都督，不久又貶為永州刺史。荊州長史長孫祥左授常州刺史，不久又查出他寫給長孫無忌的書信，處絞。
經(jīng)過這一仗，太尉派都被逐出朝廷，擁武派大獲全勝，但武后仍然不滿意，因?yàn)檫€沒有斬草除根，惟恐死灰復(fù)燃。
七月廿七日，李治命李勣、許敬宗、辛茂將、參知政事任雅相、盧承慶共同復(fù)審長孫無忌的案子，確認(rèn)太尉派謀反屬實(shí)。
朝廷分派監(jiān)察御史前往高州追拿無忌族弟長孫恩，到象州追拿柳奭，到振州追拿韓瑗，按律全部帶上枷鎖押送京師。
許敬宗派遣中書舍人袁公瑜帶衛(wèi)士前往黔州，再次審鞫長孫無忌謀反的事。
袁公瑜到達(dá)黔州后，按照武后的意思逼令長孫無忌自縊，眾衛(wèi)士拔刀環(huán)繞長孫無忌四周，齊聲鼓噪：“恭請揚(yáng)州都督升天！請從速上路，備禮厚葬！”
長孫無忌倉皇四顧，見自己已成為孤家寡人，突然想起吳王李恪臨死前說的話：“長孫無忌竊弄威權(quán)，構(gòu)害良善，宗社有靈，當(dāng)族滅不久！”不禁長嘆一聲道：“一切眾生皆有因果報(bào)應(yīng)，老夫現(xiàn)受苦樂之報(bào)??！”遂引頸上吊。
李治又詔命抓到柳奭、韓瑗后就地?cái)貨Q，不用押送進(jìn)京。
監(jiān)察御史到象州后就地?cái)貧⒘鴬]，到振州后發(fā)現(xiàn)韓瑗已死，就挖開棺材，驗(yàn)明尸身而還。到高州抓到長孫恩后，將他流放檀州。籍沒柳奭、韓瑗、長孫恩三家，兒孫近親都流放到嶺南為奴婢。
至此，太尉派全軍覆滅了，武后十分高興，派人召回普州刺史李義府，任命他為吏部尚書，同中書門下三品。