新中國成立後，為統一領導和管理民兵工作，併為實行義務兵役制打好基礎，自1950年6月起，從中央軍委至地方區政府一級，曾設立人民武裝部。後幾經易名，縣級以上各級人民武裝部分別改稱動員部、處、科。1954年6月，縣人民武裝部改稱兵役局。1958年4月，撤銷兵役局，恢復人民武裝部。1961年起，在人民公社、大中型廠礦、大專院校等也設立人民武裝部，屬地方建制，配備專職人民武裝幹部。人民武裝部在革命戰爭時期，領導和組織人民群眾參加游擊戰，為配合和支援主力部隊作戰，鞏固和擴大革命根據地，發揮了重要作用；在社會主義革命和建設時期，為搞好民兵、預備役建設，做好兵役工作，密切軍隊與地方關係，增強軍民團結，完成戰備、治安任務等，作出了重大貢獻。

1985年百萬大裁軍，人武部劃歸為地方建制。雖然任務職責沒有變化，但是體制發生了變化。人武部屬於軍地共同領導，屬於軍隊建制時，以軍隊領導為主，軍隊部署的工作，必須無條件完成。劃歸地方建制後，則是以地方領導為主，縣裡分配的任務不能有絲毫懈怠。人武部交歸地方後，幹部的使用權和任命權均在地方，不少人武部幹部到地方任職，有的做了縣委副書記，有的當了副縣長，還有的當了書記、縣長，主任、局長。

當然也有一些地方幹部調入人武部工作，其中有的新任武裝幹部沒當過一天兵，不能馬上適應軍事工作。有的地方給人武部安排的非武裝工作過多，影響了本職工作完成。雖然各省軍區、軍分割槽不斷強調，人武部的主要工作職責，是抓民兵預備役建設。但是人武部已經是縣裡編制的一個部門，它的“戶口”在地方，不在軍隊；它的婆家是地方，軍隊只是它的“孃家”。

面對軍地兩個“婆婆”，縣人武部在實際工作中是有難處的。特別是縣裡和軍分割槽同時對他們下達任務，在完成任務的時限上產生矛盾的時候，他們往往會選擇優先完成縣裡交給的任務。他們常常會無可奈何地說，“端誰家的碗，吃誰家的飯，做誰家的事”。

對此，從總部到兩級軍區做了大量調查研究。經過那麼多年徘徊，中央終於下大決心，將2萬多人武幹部收回軍隊建制。這是非常英明的決策。

1996年3月，軍分割槽所屬人武幹部，按幹部管理許可權，重新進行任命，授予相應的軍銜。人武部轉換供給關係，明確部隊番號，更換印章。從4月1日起，全國2000多個縣人武部，順利收歸軍隊建制。