Počátky pražského městského archivu lze spatřovat ve sbírkách listinných privilegií, které byly jako doklady o městských právech uloženy nejprve v domech konšelů nebo v městské rychtě, po vzniku radnic pak v okovaných truhlách v radních síních. K těmto pro město základním dokumentům brzy přibývají i písemnosti správy jednotlivých pražských měst, materiály soudní a z důvodů relativní bezpečnosti uložení i dokumenty soukromé povahy. Narůstající množství písemností si vynucovalo i zvětšení úložných prostor, takže v truhlicích zůstávaly nadále pouze nejcennější listiny, zatímco ostatní, zejména knižní, materiál se přestěhoval do skříní v samostatných místostech, o které pečoval městský písař. Ten také v případě, kdy se písemnosti pro svůj počet stávaly nepřehlednými, pořizoval první archivní inventáře a soupisy.
V roce 1784 byla čtyři původně samostatná pražská města (Staré Město, Nové Město, Malá Strana a Hradčany) spojena a místo jejich samosprávných orgánů byl ustanoven magistrát, jehož sídlem se stala Staroměstská radnice. Sem byly postupem doby svezeny i archiválie všech spojených měst. Vedle právní hodnoty archiválií začala s rozvojem moderního dějepisného bádání vystupovat do popředí i jejich velká hodnota historická, zrcadlící dějiny metropole kulturních a politických dějin našich zemí. Tento pohled se stal rozhodujícím pro zřízení městského archivu jako samostatné instituce v roce 1851, kdy byl prvním městským archivářem jmenován Karel Jaromír Erben. Tímto rokem začala v archivu, který byl v dobové terminologii nazýván "pomocným úřadem městským", systematická práce na zpřístupňování cenných městských fondů, zejména sbírek listin a rukopisů, a jejich historickém využívání. Bylo založeno nové oddělení plánů a vyobrazení města a byl položen základ k rozsáhlé historické a právnické knihovně. Archivu se dostalo také odpovídajícího prostorového zázemí v severním křídle Staroměstské radnice, kde našly své místo kromě depozitářů také moderně vybavená studovna, fotoateliér a konzervační dílna. Jak svým technickým vybavením, tak kvalifikovaným personálním obsazením se stal Archiv hlavního města Prahy v meziválečném období jednou z nejmodernějších archivních institucí u nás.
Smutnou etapou v dějinách archivu bylo období nacistické okupace. Archiv byl stále více oklešťován po materiální i personální stránce a jeho archiválie byly odvezeny z obavy před bombardováním Prahy do venkovských objektů. Zásadní ránu pak dostal na samém sklonku války 8. května 1945 při požáru Staroměstské radnice způsobeném ustupujícími německými jednotkami, kdy shořelo nejen jeho dosavadní sídlo, ale též část archiválií, čímž vznikly nenahraditelné ztráty na historickém dědictví Prahy.
Po skončení druhé světové války nastalo období zacelování ran. Místo zničených prostor dostal archiv náhradní prostory v Clam-Gallasově paláci v Husově ulici, kde měl již za okupace uloženou část svých písemností. Nově zřízené depozitáře byly vybavovány regály, archivní fondy byly svezeny zpět do Prahy a byly k nim postupně pořizovány nové archivní pomůcky náhradou za shořelé. V roce 1949 byla opět otevřena archivní studovna. Protože výstavba nové účelové budovy se ukázala v té době utopickým snem, stal se palác téhož roku trvalým sídlem archivu. V padesátých letech nastalo pro archiv další obtížné období. V letech 1950-1951 byl připraven o značnou část svých pracovníků a také o svou organizační samostatnost, když byl podřízen odboru vnitřních věcí Ústředního národního výboru hlavního města Prahy. Zato mu však výrazně přibylo úřední agendy v podobě skartací písemností národních výborů, škol, soudů, podniků a dalších organizací. Archiv byl zahlcen množstvím nakvap přebíraných materiálů včetně archiválií zrušených spolků či církevních institucí, které byly přejímány mnohdy ve špatném fyzickém stavu a neuspořádané bez nezbytných soupisů a tím i bez možnosti odborného využití. Přesto archiv v následujících letech postupně obnovil svoji odbornou činnost. Podařilo se mu zvýšit počet odborných archivářů ve svých řadách a získat a vybavit i další objekty pro uložení svých fondů. Také Clam-Gallasův palác byl postupně rekonstruován a vybavován. Pracovníci navázali na předválečné publikační tradice archivu a navázali intenzivní spolupráci s historicky zaměřenými pracovišti Univerzity Karlovy a dalšími institucemi.
Tento pozitivní trend dostal rozhodující impuls listopadovou revolucí v roce 1989. Archiv se v roce 1993 stal samostatným odborem Magistrátu hlavního města Prahy a získal v očích široké veřejnosti na důležitosti využíváním svých archivních materiálů při vyřizování restitucí a rehabilitací. Byl ve větší míře než dosud vybavován moderní technikou, zejména počítači a reprografickou technikou, a rozšířil se i počet jeho pracovníků. Jeho prostorové problémy (na konci osmdesátých let využíval vedle Clam-Gallasova paláce ještě dalších 8 převážně nevyhovujících pražských a mimopražských depozitářů, mezi nimiž nechyběl ani zámek či protiatomový kryt) odstranila po více než půlstoletém marném snažení nová účelová archivní budova v Praze 4 - Chodově, dokončená v květnu 1997. Zde byla na podzim roku 1998 otevřena nová moderně vybavená archivní studovna, do níž byly v pozdějších letech postupně sestěhovány archiválie z ostatních depozitářů.
Na základě nového archivního zákona č. 499/2004 Sb. přišel městský archiv o působnost v oblasti péče o budoucí archiválie státních a soukromoprávních původců. Naopak v důsledku rozšíření okruhu městských původců (zejm. škol a zdravotnických, sociálních, kulturních nebo vědeckých zařízení) se zvýšila agenda skartačních řízení a přebírání archiválií. V uplynulých letech si archiv v očích veřejnosti vybudoval silnou pozici významné městské instituce pečující o historické bohatství Prahy díky mnohým výstavním počinům zejm. ve spolupráci s Muzeem hlavního města Prahy, vydaným publikacím o dějinách české metropole a zpřístupněným digitálním reprodukcím vzácných archiválií.
170 let Archivu hlavního města Prahy (online výstava)
Archiváři hlavního města Prahy