武則天成為皇帝后，她的家族也因此掌握大權，武家權傾朝野，朝廷官員也是人人自危，十分忌憚他們。 然而，武則天在神龍政變中被奪了王位，武家也就陷入危境，成為朝廷上針對物件。

在武家，前後許多人都進了朝廷當官員，甚至有的封爵稱王。武三思、武承嗣、武攸寧、武攸暨和其他十幾個武氏諸侯國都受到嘉賞。但武則天退位後，這些勢力在幾年內都被毫不留情地清洗。

但是有一個人，在李唐掌握天下大權，竟然沒有受到迫害，活到最後。這個人是武家的武攸緒。武攸緒，武則天叔叔，武則天叔父武士讓的孫子。雖然輩分很近，但他和他姑姑並不親近。

而且武攸緒和其他趁著武則天大勢，在朝廷裡奪著大權的家族子弟並不一樣。654年，唐高宗李治武則天為皇后。之後還藉機打壓了一把那些忠臣，比如長孫無忌、于志寧。武則天也因為唐高宗，獲得了皇后無法獲得的權力。

加上後來高宗身體有恙，無法處理那如天般多的政務，武則天便代為高宗處理政事。武則天既然有了大權，她想到第一個分享自己權力的只有跟自己有同樣血緣的武家，這也給了武三思有了登場的機會。而在武則天封后第二年，武攸緒出生，因為出生時家族已經飛黃騰達，武攸緒可以說是過著不愁吃穿的優渥日子，這也讓武攸緒對於錢財的毫不在意。武攸緒有什麼不同呢？

比如當時武家權傾朝野，而武攸緒不走尋常路，竟隱姓埋名，跑到大街上給人算命。後來武則天以太后臨朝，武則天也優待於武攸緒，封了很多大官給他，然而武攸緒在得到這些官位後卻是絲毫打不起興趣。

便二話不說辭官，到嵩山隱居，近二十年不與外界接觸。無論外界有多亂，只致力於研究《周易》和道教。看書、彈琴、煉丹、釣魚，逍遙自在，寄情于山水。也是如此，武則天倒臺後，武家幾乎被滅門，武攸緒卻能安全地在嵩山活下來。唐中宗復辟後，他依舊記得這位隱居的外戚。

中宗兩次邀請武攸緒到京，武攸緒去了皇宮，但只停留了一小會兒，很快又一頭扎進了嵩山。也正是因為武攸緒對權力的淡漠，也讓他活命，還得到唐中宗、唐睿宗的賞識。