晉康帝建元初(343年)會稽王司馬昱徵聘殷浩為建武將軍、揚州刺史，仍被殷浩所拒絕。司馬昱寫信和殷浩說道理，殷浩復信申述己意。如此往返，從3月到7月，歷經四月之久，殷浩才接受聘任。司馬昱之所以如此大費周章地請殷浩出山，就是因為當時桓溫聲勢顯赫、壓倒朝廷，而殷浩名聲最大，因此想用殷浩來對抗桓溫。從此，殷浩不得不出來做官，而且也身不由己地站在與桓溫對抗的位置上。

晉穆帝永和5年(349年)石虎去世，後趙國大亂。永和8年（352年），東晉朝廷想趁此良機北伐，以收復中原，便任命殷浩為中軍將軍，假節、都督揚、豫、徐、兗、青五州軍事。殷浩則以淮南太守陳逵、兗州刺史蔡裔為前鋒，安西將軍謝尚、北中郎將荀羨為督統，並開長江以西一千多頃水田作為軍糧儲備。但殷浩到許昌時，因謝尚不能安撫新歸降的張遇，張遇於是在許昌據城叛變，並派兵進據洛陽和進攻晉軍所據的倉垣，亦令殷浩軍受阻。謝尚和新降的姚襄於是一同進攻張遇，但謝尚大敗，退回淮南。殷浩知道謝尚兵敗後亦退還壽春。

此主題相關圖片如下：

殷浩這次北伐因張遇叛變而敗，隨即便打算再起兵。永和9年(353年)10月率領7萬人北征許昌、洛陽。剛出發便摔下馬，幸好沒受大傷。北方諸降將是殷浩北伐的重要倚重力量，因而行軍到壽陽派遣一位羌族貴族姚襄做前鋒，去攻打前秦。這個舉動暴露殷浩的愚昧，因兩人素有過節，殷浩甚至曾數度派刺客暗殺姚襄但都失敗，逼使姚襄決心叛離東晉。當大軍行到山桑時姚襄就在夜晚突然包圍山桑，向殷浩發起攻擊，殷浩倉促應戰，大軍不戰自潰，殷浩棄械逃亡，逃到譙城。而殷浩的7萬大軍被殺的近萬，其他或叛投姚襄或潰散，蒙受極大損失。姚襄趁機會派人到建康，向朝廷揭發殷浩疑忌自己及喪師致敗的罪過。

此主題相關圖片如下：

(姚弋仲臨終時，諄諄告誡他的兒子回歸晉帝國。姚襄稟承遺命，帶著老爹棺柩，率眾南下，一心一意，為晉帝國效力。想不到以殷浩為首的當權鯊魚集團，雖然對外沒有能力，但對內化友為敵的本領，可是非常傑出（凡是對外無能的政府，往往精於窩裡鬥）。姚襄叛變之日，距投奔之日，不到兩年。兩年歲月，殷浩硬把一支忠心耿耿的勁旅逼反，他的罪惡，不應原諒。而效忠祖國的英雄眼淚，也洗不完心路歷程上所受的創傷。這種悲哀，充滿史冊，豈只姚襄一人而已。)

此主題相關圖片如下：

政敵桓溫也趁此良機，對殷浩大肆進行攻擊。殷浩也因此遭到貶斥為庶人，流放到東陽信安(今浙江衢縣)，也從玄學轉到佛學。雖然嘴裡說樂天安命，心裡並非四大皆空。因此整天用手指在空中劃寫〝咄咄怪事〞的舉動時常發生。顯然，殷浩並不認為自己有何過錯。但這也反應殷浩心中積鬱甚深，而且殷浩並不安於流放和貧賤的屈辱地位，當外甥韓伯要回建康，殷浩送至江邊，吟誦起曹顏遠的詩句：富貴他人合，貧賤親戚離，以致淚眼婆娑。

桓溫年輕與殷浩齊名，兩人一直在心理暗鬥，桓溫曾經問過殷浩說：「你怎麼比得上我？」殷浩回說：「我們周旋已久，我心裡沒有你。」桓溫素來輕視殷浩，殷浩也不怕他，在殷浩北伐失敗時桓溫得意和別人說：「小的時候我跟殷浩一起騎竹馬，我不要的，殷浩撿去騎。因此殷浩終歸要處在我的下位。」又對自己的秘書（掾）郗超說：「殷浩既有德性，又會說話，要是讓他做個中書令、尚書僕射什麼的，肯定很稱職，還可以成為百官的榜樣。現在朝廷讓他帶兵打仗，真是用非其才啊！」桓溫從對立的眼光，倒是看出問題的本質。

後來，桓溫居然寫信來要殷浩擔任國務院總理（尚書令），殷浩很高興，連忙回信表示接受，為了怕信中有何遺漏，反覆看了又封、封了又看幾十次，最後竟然將一封空函封了進去，桓溫接到信時惱怒，從此再也不理會殷浩。永和12年(356年)在信安過世，朝廷追復本官。
 

殷浩在沒有擔任政府官職時，人們對他有殷切的盼望，認為：「殷浩如果不出來領導國家，誰救蒼生？」兩次戰敗而又貪戀權位，不肯去職，人們用同樣迫切的心情嘆息：「殷浩已經出來領導國家，誰救蒼生？」名和實的落差，竟如此之巨。

　　
殷浩掀起萬人傾慕的壯闊景觀，自有他動人心弦之處，其實，他所表現的，不過一堆「大話」「空話」「馬屁話」，以及當時最流行的「窮嚼蛆話」而已。他創造了奇蹟，卻沒有能力保持奇蹟！殷浩之後，多少「英明領袖」，都跟殷浩一樣，開始時享有高度的聲譽，最後落入谷底，使中國人在不斷的興奮與沮喪中循環，受盡煎熬。