“帥”的本意為軍隊的統帥，至少從宋代開始，地方軍事長官即開始被簡稱為“帥”，此後歷代相沿，到清代更為普遍。由於總督和巡撫擁有軍事上的統馭權，故其部下和同僚皆以某“帥”尊稱之，習慣的叫法是在“帥”字前冠以姓氏和本人字號中的一個字，如浙江巡撫左宗棠被稱為左季帥（左宗棠字季高）。至於“大帥”之稱，在初期只是對欽命統帥大軍出征的大將軍或經略的尊稱，如乾隆年間的大將軍福康安曾數度領兵出征，被稱為“福大帥”。但到清代後期，此稱已濫，欽差大臣或威望較高、資較深者，中央官員中尚書、侍郎帶兵出征者，多有被稱為“大帥”者。到光緒年間以後，各省督、撫、提督幾乎無不以被稱為“大帥”為榮。其中年老資深者，便被稱為“老帥”。

辛亥革命期間，獨立各省一般都模仿首先起義成立軍政府的湖北，設定都督統率本省軍隊併兼管民政，其職權相當於清代的巡撫，所以都督都被尊稱為“帥”。如黎元洪曾說，他於1913年12月辭去湖北都督，進京專任副總統，是“欲求國家統一，不得不首解兵柄，為群帥倡”。這裡的“群帥”即指各省都督。

以袁世凱為首的北洋集團竊取政權後，其主要骨幹佔據了從中央到大部分省份的要職。這些人在清代已是高階官吏，所以清代的一些官場稱呼有相當一部分保留了下來，“帥”的稱呼就是其中的一種。1914年6月，袁世凱宣佈裁撤各省都督，在北京設定將軍府，另遣將軍掌辦各省軍政。1916年7月，大總統黎元洪又下令把將軍改稱“督軍”。1922年6月，各省軍閥紛紛宣佈“廢督裁兵”，將督軍改稱“督理”或“督辦”。1924年段祺瑞臨時執政府下令各省軍政長官一律稱“督辦某省軍務善後事宜”，仍簡稱“督辦”。名稱雖不斷翻新，權力卻未受到絲毫削弱，“帥”的稱呼也一直沿用。

北洋政府時期，省級以上的地方軍事長官主要是巡閱使。1920年，全國有長江、直魯豫、東三省、蘇皖贛和兩湖等巡閱使。按慣例，巡閱使即可稱為“大帥”（或“巡帥”）。據記載，北洋軍閥中稱“大帥”的有三個人，即長江巡閱使張勳、直魯豫巡閱使曹錕和東三省巡閱使張作霖。吳佩孚出任兩湖巡閱使稱“大帥”後，曹錕就改稱“老帥”，以示比“大帥”更高一籌。