天色向晚，汉家宫阙。
汉元帝看罢诸葛丰奏疏，最终偏向许章，于是大怒：此贼，依仗天子威风，追逼皇亲国戚走逃宫中，忒也可恶。传朕诏旨，无论谁对谁错，先收回诸葛丰符节！
由此便从诸葛丰开始，其后司隶校尉不再掌握天子符节。
诸葛丰被收符节，兀自不服，再次上书，以辞职相威胁。其疏略云：
臣丰驽怯，文不足以劝善，武不足以执邪。陛下拜臣为司隶校尉，复秩臣为光禄大夫，官尊责重，非臣所当处也。又迫年岁衰暮，常恐卒填沟渠，无以报厚德，使论议士讥臣无补，长获素餐之名。故常愿捐一旦之命，不待时而断奸臣之首，悬于都市，编书其罪，使四方明知为恶之罚，然后却就斧钺之诛，诚臣所甘心也。夫以布衣之士，尚犹有刎颈之交，今以四海之大，曾无伏节死谊之臣，率尽苟合取容，阿党相为，念私门之利，忘国家之政。邪秽浊混之气上感于天，是以灾变数见，百姓困乏。此臣下不忠之效也，臣诚耻之亡已。凡人情莫不欲安存而恶危亡，然忠臣直士不避患害者，诚为君也。今陛下天覆地载，物无不容，使尚书令尧赐臣丰书曰：“夫司隶者刺举不法，善善恶恶，非得颛之也。勉处中和，顺经术意。”恩深德厚，臣丰顿首幸甚。臣窃不胜愤懑，愿赐清宴，唯陛下裁幸。
元帝览奏，只是摇头，既不纳其建议，又不许其辞职之请。诸葛丰见此，再次上书：
臣闻伯奇孝而弃于亲，子胥忠而诛于君，隐公慈而杀于弟，叔武弟而杀于兄。夫以四子之行，屈平之材，然犹不能自显而被刑戮，岂不足以观哉！使臣杀身以安国，蒙诛以显君，臣诚愿之。独恐未有云补，而为众邪所排，令谗夫得遂，正直之路雍塞，忠臣沮心，智士杜口，此愚臣之所惧也。
此疏奏上，威胁之意更显，元帝不答，外戚皆恨。其后不久，诸葛丰反被人寻个过错，遭捕判罪，朝廷官员多议其非。汉元帝明知其无罪，乃命释之，调为城门校尉。
诸葛丰虽然被贬，犹不断上书，又控告光禄勋周堪、光禄大夫张猛。
汉元帝终不耐烦，乃下诏给御史府：诸葛丰前任司隶校尉，专作苛暴，以获威名，朕不忍讯，命为城门校尉。今不自省，反怨周堪、张猛，案无证之辞，暴难验之