后之子刘奭为太子。
霍显闻讯非常恼怒，甚至吐血，于是暗中指使女儿，设计毒害太子。皇后霍成君既奉母命，于是屡召太子入内，多次赐以食物，欲行谋害。但因见保姆总是先尝，因此无法下毒。
地节二年春三月，大将军霍光病重，未几去世。汉宣帝与上官太后一同到场治丧，命以天子礼仪葬于茂陵。以玉衣、梓宫、便房、黄肠题凑为葬，死后哀荣，前无古人。
宣帝隐忍六年，此时霍光既死，终得亲政。因怀疑是霍家派人毒杀许皇后，故一旦亲政，便着手削减霍家权势，又安排史、许两家外戚亲属掌握大权，制衡霍氏。
霍显生性愚蠢，不知靠山已倒，应当养光韬晦，反而愈加张狂。
于是为丈夫下葬之时，随意改变霍光生前所设计墓地规制，擅自加以扩大。
先建起三个出口门阙，修筑神道，北面靠近昭灵，南面越出丞墨。
又大肆装修祠堂，辇车专用道直通到墓穴中永巷，又幽禁平民、奴婢、侍妾，令其守护坟茔。更大建住宅，制造乘辇，增加绣花坐垫、把手，涂饰黄金，又用皮裹丝絮以包车轮，侍婢用五彩丝带拉车，在府中游戏取乐。
霍光生时宠爱家奴总管冯子都，长得高大魁梧，玉树临风。此时霍显守寡独居，便与冯子都明铺暗盖，主仆通奸。
霍禹、霍山见此，也都效尤模仿，同时修缮住宅，常在平乐馆跑马追逐。
霍云多次称病不朝，私下外出，带宾客在黄山苑囿中张围打猎，委派奴仆代为上朝。
霍显与其诸女，不分昼夜进出长信宫，毫无限度。因闻宣帝亲理朝政，命御史大夫魏相任给事中。乃召集霍禹、霍云、霍山等人，与其密商。
霍显：大将军弃世，今御史大夫任给事中，一旦有人居中挑拨，汝辈尚能自救乎？
霍云：给事中虽落魏相之手，但天下兵权皆在我霍氏之手，其又能奈我何？
霍禹：此言是也。那魏相乃是一介文士，不足为忧！
其余子侄闻此，俱都哄然称是，齐都附和。霍显见此，也就只得罢议，众人皆散。
此后经月，太平无事。
这一日，霍云率其奴仆在当街横行，迎面正遇魏相乘舆。两家