霍光是西漢著名將領霍去病的同父異母之弟。其父霍仲孺先在平陽侯曹壽府中為吏，與平陽侯的侍女衛少兒私通生霍去病，後歸家娶妻生霍光。至霍去病在京城任將後，方知他的生身之父為霍仲孺。漢武帝元狩四年（前119年），二十一歲的霍去病以驃騎將軍之職率兵出擊匈奴，路過河東，方與其父相認，併為其購買了大片田地房產及奴婢。當時，霍光僅十多歲。霍去病得勝還京時，遂將霍光帶至京都長安，將其安置於自己帳下，任郎官，後升為諸曹侍中，參謀軍事。兩年後，霍去病去世，霍光做了漢武帝的奉車都尉，享受光祿大夫待遇，負責保衛漢武帝的安全，所謂“出則奉車，入侍左右”。在跟隨漢武帝時期，他謹慎小心，受到漢武帝的極大信任，同時，他也從錯綜複雜的宮廷鬥爭中得到鍛鍊，為他以後主持政務奠定了基礎。

公元前74年，昭帝無嗣，他死後，由誰來繼承帝位，這是霍光等公卿大臣面臨的困難問題。當時，漢武帝的兒子，還有封廣陵王的劉胥，但他行事不檢點，有失皇家道統，漢武帝生前就很不喜歡他，他們便選擇了漢武帝之孫，襲封昌邑王的劉賀，讓他來繼承帝位。但這個劉賀本是紈絝子弟，荒淫無度。漢武帝死時，他竟於服喪期間四處遊獵，雖有屬下苦諫不止，他仍放縱自若。昭帝死後，霍光等大臣以太后的名義派車迎接他入京登基，他喜不自勝。在進京途中，就派人掠取民間女子、財產，並讓其屬吏。家人都穿上刺史的官服，封官霍光進爵，任其胡作非為。看到這種情況，霍光等眾大臣都感到事態嚴重，如果不及早處置，將會使漢家天下斷送到劉賀的手裡。於是在劉賀即位的第27日，霍光將所有在朝大臣、列侯、博士等召集到未央宮，舉行會議，當眾宣佈了要廢掉劉賀，另選賢明的意圖。與會大臣、博士等人一聽這個訊息，都感到意外，因為廢立之事，關係重大，誰也不敢發言。田延年看到這種情況，立刻站起來發言，假意斥責霍光，說漢武帝把漢家天下寄託給霍光，就因為霍光忠誠於漢室，能使漢朝長治久安。現在如果繼續維持劉賀的帝位，那漢家天下就會斷送，你霍光將來死了，又有何面目去見漢武帝呢！他手握劍柄，嚴詞厲色，聲稱如有人敢反對廢除劉賀他就將其就地斬殺。與會者見此情景，都同意由霍光主持，廢除劉賀，另選賢明之主。於是，霍光聯合杜延年、楊敞等人，十分慎重地寫了一封奏章，列舉了劉賀的種種劣跡，上奏當時主持漢室的十五歲的上官太后，並將劉賀召至未央宮承明殿，宣讀了這封奏章，即日將劉賀廢掉，並將其所屬官吏統統收捕，隨後又將劉賀傳送回昌邑。而後，又將長期生活於民間的漢武帝與衛子夫的曾孫、戾太子之孫，十八歲的劉病已立為皇帝，這就是漢宣帝。

漢宣帝登基後，霍光權勢熏天，霍光夫人想將其小女立為皇后，以進一步控制皇帝。群臣阿附霍光，也建議宣帝納霍女為後。宣帝不忘舊義，堅持立許氏為皇后，這便引起了霍氏家族的不滿。霍妻竟趁許後臨產之機，指使女醫官將其毒死，然後由霍光施加壓力，將霍女立為皇后。宣帝對許後之死雖然心懷疑慮，但迫於形勢，對霍皇后也只好作出寵愛的樣子。一年後，宣帝立許後之子為太子，霍光夫人故伎重演，教霍皇后在太子飲食中下毒，未遂。

霍光病死後，宣帝開始親政。此時霍禹為右將軍，霍山以奉車都尉領尚書事，霍氏一門仍十分顯赫，廣治第室，奢侈無度。有人向宣帝上書，說霍光專制擅權，主弱臣強，現在其子孫用事，愈發驕恣，長此下去，恐危宗廟，建議宣帝採取措施。由於當時凡吏民上書皆先透過尚書，所以都被霍山扣押下來。為削奪霍氏權力，宣帝採取了一系列措施：首先，親自處理朝政， 五日一聽事 ，並下令凡吏民奏事不透過尚書，直接向皇帝報告。其次，封太子的外祖父許廣漢為平恩侯，許廣漢的兩個弟弟，一封為博望侯，一封為樂成侯；又令與霍氏有隙的御史大夫魏相給事中。最後，將霍氏家族調離實權位置，如遷霍禹為大司馬，無印綬，罷其右將軍屯兵官署；將霍光長女婿鄧廣漢由長樂衛尉調任少府；女婿、度遼將軍、未央衛尉範明友調任光祿勳，不久後，又收其度遼將軍印；次女婿、諸吏中郎將、羽林監任勝調出京城，任安定太守；霍光姊之女婿張朔由給事中、光祿大夫調任蜀郡太守；收中女婿趙平騎都尉印綬，調任散騎都尉、光祿大夫，赴外地屯兵；孫婿、中郎將王漢調任武威太守。霍氏家族諸將從前統領的胡越騎、羽林及兩宮衛將屯兵，全部改由宣帝親信的許、史兩家子弟統領。

霍氏不甘心權勢被削，遂密謀藉機殺平恩侯許廣漢和丞相等人，再以太后名義下詔廢掉宣帝而立霍禹。地節四年（公元前66年）陰謀敗露，霍雲、霍山自殺，霍禹等人皆腰斬、棄市，霍皇后被廢處昭臺宮。與霍氏相連坐誅滅者數千家。