举措赢得了朝野的一片赞赏，也为所谓的“同治中兴”奠定了基础。然而，随着奕地位的上升和声名鹊起，他的处境也变得愈加复杂。
一方面，奕支持曾国藩等地方势力办洋务，但又主张削弱这些地方势力，这种做法引起了湘淮军系的不满。另一方面，他在推动洋务运动时，也遭到了以倭仁为代表的顽固派的强烈反对。与此同时，由于奕的权力受限，不能完全满足列强的要求，这也使得西方国家对他产生了不满。慈禧太后虽然利用奕巩固了自己的统治，但也开始感到奕的权势过大可能威胁到她的权威。
在这种复杂的背景下，慈禧太后采取了扶植多派政治势力互相牵制的策略。她一面支持奕为首的洋务派，一面放任顽固派对奕的攻击，试图通过这种方式来控制和削弱奕的影响力。这种局面让奕感到非常不满，他年轻气盛、踌躇满志，但在矛盾漩涡中仍勇于任事，表现出刚愎自用的一面。慈禧太后对此难以容忍，认为奕“狂妄自大，跋扈专擅”，两人的关系因此出现了裂痕。
1865年（同治四年）三月初五，编修蔡寿祺弹劾奕，指责他揽权纳贿、徇私骄盈。两天后，两宫太后以同治帝的名义颁诏，免去了奕议政王及其他一切职务。尽管朝中大臣纷纷求情，慈禧太后最终允许奕继续在内廷行走并管理总理各国事务衙门，但免去了议政王的头衔。这是奕遭受的第一次重大打击。
1869年（同治八年），奕支持处决慈禧太后的亲信安德海，这进一步激化了与慈禧太后的矛盾。1872年（同治十一年），奕被任命为办理同治帝大婚筹备事宜的负责人之一，并被允许世袭罔替亲王爵位。然而，1874年（同治十三年）七月，奕与其他大臣劝谏同治帝不要修复圆明园，结果遭到同治帝的斥责。同治帝甚至怒斥奕：“此位让尔，何如？”随后，同治帝发布朱谕革去奕亲王世袭罔替的爵位，降为郡王。但在两宫太后的干预下，奕很快恢复了亲王世袭罔替的地位。
同年十二月，同治帝驾崩，奕与慈禧太后等人共同商议迎立醇亲王奕譞之子载湉为帝，即光绪帝。此后，奕继续在朝廷中担任重要职务，包括宗人府宗令、玉牒馆总裁等职。1879年（光绪五年），奕会见了美国前总统格兰特，请求其调解中日琉球争端。1880年（光绪