Úkolem archivu je shromažďovat, uchovávat, odborně zpracovávat a zpřístupňovat archiválie za účelem jejich vědeckého, správního, hospodářského a kulturního využití. Činnost archivu tak v sobě zahrnuje několik složek.
Jedním z nejzodpovědnějších úkolů archiváře je předarchivní péče, neboť v rámci tohoto úkonu rozhoduje, které písemné, obrazové, zvukové a jiné záznamy budou s ohledem na svou trvalou hodnotu vybrány za archiválie. Výběr archiválií úřední i neúřední povahy se provádí v tzv. skartačním (u subjektů majících povinnost vést spisovou službu) nebo mimo skartační řízení, v jehož průběhu jsou vyřazovány písemnosti pro původce nadále nepotřebné. Původcem rozumíme státní či samosprávný orgán, právnickou nebo fyzickou osobu, z jejíž činnosti daný soubor archiválií vznikl. Územní příslušnost Archivu hl. města Prahy pro dohled nad výkonem spisové služby je dána zákonem č. 499/2004 Sb., o archivnictví a spisové službě a o změně některých zákonů. Archiválie jsou získávány také koupí či darem, případně jsou archivem přebírány do úschovy.
Vybrané dokumenty jsou bezpečně uloženy v moderních depozitářích, jež zajišťují optimální podmínky pro jejich trvalou úschovu. Současně jsou tříděny a evidovány v celostátně vedené databázi PEvA. Zatímco v minulosti převažoval tzv. pertinenční princip, podle něhož byly archiválie na základě věcných znaků řazeny do uměle vytvářených sbírek, dnes jsou fondy převážně tvořeny soubory písemností vzešlými z činnosti jednoho původce (jedná se o tzv. provenienční princip). Samotné zpracování se pak děje pořádáním v souladu s metodikou určenou pro daný typ materiálu a vytvářením archivních pomůcek (prozatímní archivní soupisy, inventáře, katalogy, rejstříky).
Takto zpracované archiválie jsou zpřístupňovány veřejnosti různými způsoby. Především odborná veřejnost využívá služeb archivní badatelny, jež je výhradním prostorem určeným k nahlížení archiválií. O úspěchu nového trendu otevírání archivů širší veřejnosti však svědčí rostoucí návštěvnost mnoha dalších zájemců, z nichž jmenujme alespoň stále početnější rodopisce. Trvalou oblibu si získaly také výstavy pořádané ve spolupráci s dalšími institucemi. Pravou chloubou archivu je bohatá publikační činnost, jež zahrnuje tři ediční řady (Pražský sborník historický, Documenta Pragensia, Documenta Pragensia Monographia). V neposlední řadě je třeba zmínit výroční konference věnované tematice pražských dějin, na kterých pracovníci archivu společně s dalšími domácími i zahraničními odborníky prezentují svou vědeckou činnost.