安政二年（1855年）八月，因齊昭一系的壓力，支援與西洋諸國簽署約定的兩位老中，松平乘全、松平忠優，被罷免，但此事引發了對手的激烈反彈。
譜代大名、大身旗本勢力開始抱團，並很快做出了反擊——同年十月，齊昭一系提出的老中人選未被採納，而支援兩位被罷免老中的佐倉堀田家主正睦升任老中，並主管與外國的交涉事務。
同月，江戶大地震爆發，心力憔悴的阿部侍從正弘將老中首座讓與堀田，而自身退任勝手方老中。
這樣的政局反覆是權勢架構重塑的必然結果。
嘉永七年，也就是安政元年（1854年）六月，面對西洋諸國的壓迫，幕府不得不提出舉扶桑一致的口號，希望聯合所有勢力共度難關。
當時老中阿部侍從等人規劃的是挺好，希望引入德川親藩齊昭一系的力量後，能增強幕府的實力和影響力，進而網羅原本處於權勢邊緣的勢力——京都小朝廷和外樣大名，從而一箭三雕，既能保證局勢的平穩，而且還能維繫幕府的主動，順便可以壓制幕府內部食古不化的臣子。
可萬萬沒想到的是，水戶老藩主齊昭復出後，確實聲勢不小且支持者眾多，但齊昭一系卻莫名其妙地拋棄了默契，將矛頭直接指向了幕府中樞老中評定會。
於是，本來可能出現的大好局面變成了一鍋粥——親藩、譜代大名和旗本不但不能精誠團結，反而幕府內部先打起來了！
安政（1857年）和歷七月，在直秀趕往江戶請罪之前，白主奉行所內部進行了局勢推演，當時江川英敏代直秀說出了齊昭的各項不足：
首先，意氣用事是齊昭的最大問題。
君子藏器於身，待時而動。
可恃才傲物的齊昭偏不——復出前與老中首席阿部侍從建立的默契，沒多久就被他自己破壞掉了。
齊昭於弘化元年（1844年）就退隱了，水戶家主之位也交給了兒子慶篤，為了讓他復出參與幕政，阿部推動幕府於嘉永六年（1853年）任命他為海防掛。
可在復出的第二年，齊昭因為對《扶桑米國和親約定》的簽訂不滿，他自己把海防掛辭了。
後來，在阿部的努力下，幕府又任命齊昭監督水軍建設。
但因樹敵過多，兜兜轉轉之後，齊昭一系卻一直沒有拿到什麼重要的役職。
如今扶桑的治政由幕府執牛耳，而幕政的兩個中心是公方樣側近人和老中評定會——側近人等近侍靠影響將軍而擁有最終決策權；老中評定會是幕府各種役職的頂峰，擁有行政權。
本來，因為齊昭名氣大、身份高，而且將開國弊端說得清清楚楚，白主眾人對他印象很好，可時間一長，直秀等人發現這位是猛將而不是帥才。
齊昭把一手好牌打得稀巴爛：
支援的人多，有人望；身為德川家頂級親藩，有名位。
可人望、名位兩不缺的齊昭，一直糾結於具體事務的對錯，完全抓不到重點
就拿罷免兩位老中來說吧，赤膊上陣是第一不可取，而齊昭一系沒拿到空出的老中役職更是個笑話！
從提出“舉扶桑一致”起，阿部一系已經扯開了幕政專斷的口子，只要齊昭耐心和他配合，將軍側近人也好，老中也罷，這兩種頂級役職一定會
讓出一些位置給齊昭一系。
可齊昭非要透過彈劾這種激烈的方式，完全是畫蛇添足、過猶不及。
是，與西洋諸國簽署的約定有一些弊端，但你非要拿這點做文章，徒然樹敵而已——完全可以先忍耐一下，等到自己一系掌握大政時再做糾正。現在可好，要知道當時支援簽署約定的大名和幕臣很多，齊昭一下子就把這些人都推到敵人的位置上了。
非對即錯，這樣的人執政，政局能平穩麼？齊昭一系的激烈手段導致了很多人的擔心。
於是很多人的立場由中立變成了反對，導致兩個老中被罷免但齊昭等人一個空出來的位置都沒拿到！
作為成熟的治政家，妥協和利益交換是難免的，但齊昭過於意氣用事，給自己額外增添了很多不必要的困難。
齊昭的第二個弱點是大略不通。
當然，這也是首席老中阿部正弘的問題。
既然提出了舉扶桑一致，那麼原有的權勢架構就要改變：
原本的幕政架構裡，將軍側近人和老中是頂級役職。
激進的改變方式是另起爐灶，重新建立起一套新的制度——但這容易引發大的動盪，各方難以達成一致。
而較為緩和的辦法是換人——架構不變，但放寬人選的來源，讓更多的大名甚至外樣大名來擔任這兩種役職，達到廣泛參政的目的。
在直秀原本的世界裡，幕府後來先是採用了緩和的辦法，發現沒有收到成效後，不得不又採用了激進的方式。
但直到安政二年（1855年）年底，齊昭一系一直拿不出讓人眼前一亮的架構改變大略，只是不斷地上書攻擊執政的老中等重臣。
大家盼望的是解決問題的法子，不是希望挑錯——治政的對錯有時很難判斷，需要長時間驗證，因此白主等人認為齊昭一系“大略不通、方向有誤”。
而且齊昭一系有個致命的弱點，那就是水戶學說中的尊王及尊崇神道。
水戶學說是扶桑國學的分支，當時與之相對的是儒學——幕府當時的官學昌平簧教授的是朱子儒學。
其實兩者不無相通之處，都講究尊卑和守禮。但水戶學說自高自大，為了證明扶桑優秀將皇室神話。
不知道齊昭是真的遵循水戶學說還是為了限制幕府，總之，在他的推動下，齊昭一系要求幕府在對外交涉上要取得皇室的支援。
在一開始建立德川幕府的時候，透過《禁中並公家諸法度》，幕府逼迫皇室“委託大政”於己。按後世的話說，扶桑小朝廷連橡皮圖章都做不到，幕府法令只是走個形式到京都報備而已。
【鑑於大環境如此，本站可能隨時關閉，請大家儘快移步至永久運營的換源App，huanyuanapp.org 】
黑船來訪後，阿部侍從等人出於長遠考慮，為防止南蠻諸國及有心人以皇室的名義搞事，開始拉攏扶桑皇室，在提高待遇的同時也開始裝模作樣地向京都請示——《扶桑米國和親約定》簽署後，京都小朝廷表示不滿，但阿部等老中也只是多加解釋而已，並未怎麼重視。
可齊昭一系，不斷以皇室的名義對執政幕臣尤其是老中們施壓，導致扶桑皇室的影響力日漸擴大——畢竟是皇室“委託大政”於幕府，如果實力派得到京都小朝廷的支援，極端情況下是可以起兵挑戰幕府的，這就是扶桑千年流轉的所謂“大義”。
透過這個限制幕府的權威，因此諸多外樣大名也支援齊
昭尊王的主張。
但對於德川家的諸多親藩大名、譜代大名和旗本來說，這無疑是“太阿倒持，授柄於人”，大家再怎麼內鬥也不能便宜外人啊，所以齊昭在幕臣中有吃裡扒外的嫌疑。
至於尊崇神道，和尊王一樣，都是水戶學說基於自大扶桑而發揚光大的——神道是扶桑本地的，佛學是外來傳入的，“內外有別”麼。
但扶桑佛學興盛，上至公方樣下至百姓、町民，十之八九都是佛徒，而神道信徒寥寥無幾——倒不是不信，而是淺信徒眾多，看見了就拜看不見就想不起來那種。
齊昭出於自己的傾向，在幕政中大力推崇尊王及尊崇神道，自然引發了不少人的不滿。
因此，聲勢浩大的齊昭一系是親友團、政見相同及投機者組成的，其實凝聚力非常之差。
有這些不足，自然被直秀等人看輕，後面的幕政爭鬥發展也坐實了這種看法。
安政二年（1855年）八月，老中松平乘全、松平忠優被罷免，但當年十月，新任的老中堀田正篤依然是齊昭的死對頭。
不久，江戶大地震爆發，阿部侍從正弘將老中首座讓與堀田。之後堀田帶人處處於齊昭等人針鋒相對。
尤其是與西洋諸國的交涉中，崛田一系大佔上風，開國通商的基調已經形成——安政三年（1856年）十月，取消海防掛，新設定外國貿易掛，顯示幕府已經下定了開國的決心。
安政三年（1856年）十一月公方樣家定與島津家的公主篤姬緣結。因為島津家主齊彬是齊昭一系的人馬，就此扳回一局。
遲遲拿不到幕政大權的齊昭一系，於安政四年（1857年）五月上疏切諫，“溜直諸藩德川氏設大老、老中二職，大老時有廢置，老中常執政權，又撰諸親藩輪值議政，日溜直”。
之後，有多名幕臣上書要求公方樣立嗣。
幕政爭鬥就此白熱化，集中在公方樣世子和幕府大老兩個人選上——“大老”是幕府非常設役職，位在老中之上，是公方樣之下萬人之上的位置。
齊昭一系支援的人選是世子一橋慶喜、大老松平松平慶永，而崛田等人支援紀州藩主慶福出任西丸樣，同時對大老的設定十分抵制。
同年六月，勝手方老中阿部正弘病危。少了原本居中調和諸方的阿部，齊昭一系和崛田等人的爭鬥更加失去了控制。
當月，在篤姬入主大奧後由正篤更名為正睦的老中首席崛田正睦，取消了齊昭監督海軍建設的差事，從此齊昭被隔離於幕政之外。
七月，在英佛聯軍與中華的亞羅號戰爭不斷擴大之下，幕府廢除外國貿易掛，設立外國奉行役職，開始準備與米人特使哈里斯進行通商交涉。
十二月，在齊昭一系的激烈反對下，《扶桑米人通商約定》草約完成。
安政五年元月，首席老中兼外國事務總裁堀田正睦、勘定奉行兼外國奉行川路聖謨，兩人啟程前往京都，向小朝廷申請約定的敕許。
在這之前，齊昭、堀田正睦兩派人馬早就派人到京都活動，除了約定事宜外，還包括了西丸樣人選的敕許——將軍世子的人選本是德川家的內政，過往只是走個過場，幕府報備朝廷就會立即頒旨同意。但如今在齊昭一系的支援下，京都小朝廷居然有可能就此發表意見，真是活久見！