召开的朝臣会议上，霍光提出迎立汉武帝的孙子、昌邑王刘贺为帝。刘贺是汉武帝之子昌邑哀王刘髆的儿子，按照宗法制，具备继承皇位的资格。朝臣们经过商议，一致同意了霍光的提议，随后便派人前往昌邑国，将刘贺迎入长安即位。
然而，刘贺即位后，却暴露了荒淫无道的本性。他在位仅二十七天，便做出了大量违背礼制、扰乱朝政的事情，如将昌邑国的亲信带入宫中担任要职、沉迷酒色、不理朝政等。霍光见刘贺实在无法胜任皇帝之位，为了汉朝的江山社稷，决定废除刘贺。他召集朝臣商议，最终得到了上官太后（即此前的上官皇后，此时已成为太后）的支持。霍光以“荒淫无道，失帝王礼宜，乱汉制度”为由，报请上官太后废除了刘贺的皇位，将其遣返回昌邑国。
废除刘贺后，皇位再次空缺。霍光与朝臣们经过反复筛选，最终将目光投向了汉武帝的曾孙刘病已。刘病已是卫太子刘据的孙子，“巫蛊之祸”中，刘据全家被杀，尚在襁褓中的刘病已被侥幸救出，此后一直在民间长大，深知百姓疾苦。霍光认为刘病已品德端正、聪慧过人，且具有正统的皇室血脉，是继承皇位的最佳人选。于是，霍光派人前往民间，将刘病已迎入宫中，拥立他为帝，这就是汉宣帝。霍光此次行废立天子之事，效仿了殷商时期伊尹废除太甲、辅佐其改过自新的典故，因此后人将霍光与伊尹并称为“伊霍”，以此赞扬他为维护王朝稳定所做出的贡献。
汉宣帝即位初期，霍光曾表示要归政于皇帝，将朝政大权交还给汉宣帝。但汉宣帝深知霍光权势滔天，朝中大臣多为霍光亲信，自己刚刚即位，根基未稳，若贸然接受大权，恐引发政局动荡。因此，汉宣帝婉言拒绝了霍光的请求，明确表示朝廷事务的决策仍需先经过霍光过问，再禀报自己。表面上，汉宣帝对霍光极为尊重和信任，每逢上朝，都会给予霍光特殊的礼遇；但在内心深处，汉宣帝对霍光却十分忌惮，甚至在与霍光同乘一辆车时，会感到“若有芒刺在背”，坐立不安。霍光此时虽无谋反之心，但他功高震主，权势远超历代大臣，这也为他死后霍氏家族的覆灭埋下了祸根。
汉宣帝即位后，立皇后之事被提上日程。朝臣们大多依附于霍光，纷纷提议立霍光的女儿霍成君为皇后。但汉宣帝心中早已有人选——他在民间时迎娶的元配妻子许平君。为了委婉地表达自己的意愿，汉宣帝下了一道诏书，称“朕在民间时曾有一把故剑，如今十分思念，希望能找到它”。朝臣们见状，明白了汉宣帝的心意，便不再提议立霍成君为后，转而支持
…。。