越秀山不只有五羊傳說中“祝願此地永無饑荒”的美好、祥和、富足一面，更是充滿了腥風血雨，甚至見證了中國近代史的開端。屹立在蟠龍崗頂的四方炮臺就是這段歷史的點滴印記。廣州四方炮臺遺址原名永康炮臺，是鴉片戰爭重要遺蹟之一。因炮臺長寬似四方形，故俗稱“四方炮臺”。

四方炮臺是廣州城防的重要據點，“外臺周圍四十九丈九尺，高一丈七尺；臺中子臺周圍十六丈八尺，高二丈一尺。垛牆青磚，敵臺石砌，南面各開大門一道。

第一次鴉片戰爭時，1841年5月，英軍佔領城北各炮臺，並以四方炮臺為司令部，四出騷擾，姦淫擄掠，激起中國人民無比憤慨。同年5月31日三元里一帶103鄉及番禺、南海、增城、從化等地群眾包圍四方炮臺，次日英軍被迫撤出廣州。撤出時，將炮臺及各炮破壞。後經修復。第二次鴉片戰爭時期，炮臺又遭破壞，現僅存地基。1962年在炮臺遺址發現鐵炮一門。

四方炮臺雖扼重要位置，但道光前戰事極少，史書關於四方炮臺的記載僅有隻字片語。隨著鴉片戰爭的爆發，廣州城被攻陷，這座沉寂的炮臺走到了歷史前沿，並因“三元里人民抗英鬥爭”聲名鵲起，流傳青史。

英軍撤出時，將四方炮臺及各炮破壞殆盡。清政府收復四方炮臺後，進行了修復。但第二次鴉片戰爭時期，炮臺難逃厄運，重遭破壞，僅存地基。殘垣無存。這座雄踞城北最高點的炮臺因第一次鴉片戰爭備受矚目，最終毀於第二次鴉片戰爭，如今成為鴉片戰爭時期的一處遺址景點。

1927年，廣州起義爆發後，四方炮臺雖不在，但這一帶是起義軍保護廣州蘇維埃政權的陣地，多次擊退敵軍的進攻。2007年，廣州市文化局在立“廣州起義遺蹟”碑。