春秋時期，齊國設有琅琊邑，大概在今天山東省青島市黃島區琅琊臺西北。秦朝統一之後，推行郡縣制，全國劃分了三十六郡，其中琅琊郡管轄區包括東部沿海各地區，如琅琊、不齊、即墨等地，在今天山東東南。山東地區自古自然條件優越，農業、漁業、商業都比較發達，經濟不斷髮展。到西漢初期，郡國並行制實施，看中了這一地區，增設琅琊國，為漢高祖劉邦從祖昆弟營陵侯劉澤為琅琊王，政治中心設在琅琊。

文帝時一度廢除，東漢時期，又立琅琊國，封劉秀之子劉京為琅琊公。此時的琅琊國轄有十三城，地域廣大，屬縣眾多。治所從琅琊改到了開陽縣（今臨沂城北）。但因為其重要的地理位置，經濟發達，是納稅大省，漢獻帝時再廢琅琊國。

西晉時，又分封邦國，司馬倫的封地即為琅琊國。根據史料記載，琅琊國統九縣，大概有二萬九千五百戶。一直到南北朝時期，南朝宋才復琅琊國為郡。隋朝時，地方行政機構改為州縣兩級，琅琊郡改稱為沂州，治所在臨沂縣，管轄七縣。此時的轄區已經不涵括黃島地區了。大業年間，又改沂州為琅琊郡。唐朝時，穩定下來，置沂州，治所仍在臨沂，轄五縣。自此琅琊郡基本成為沂州的一個別稱。到清朝地方行政劃分有省、府、縣三級，沂州升為府，轄六縣一州。民國時期，沂州府依政府命令被裁撤，各縣直隸於省。

綜上，琅琊改稱沂州，是從隋唐時期就出現了，隨著人們熟悉“沂州”的稱呼，以及沂州行政級別的降低，“琅琊”這一稱呼逐漸地成為歷史記載，不再適用於現世。