Nevét onnan kapta a kiscelli domb, hogy a mariazelli kegyszobor hitelesített másolatát az itteni kápolnában helyezték el 1733-ban. Köré kolostort és templomot építtettek a trinitárius rendnek, azzal a céllal, hogy az óbudai székhelyű Zichy család temetkezési helye legyen.
A szerzetesrendeket azonban II. József feloszlatta, ezután katonai célokra hasznosították az épületegyüttest, majd 1912-ben Schmidt Miksa bécsi bútorgyáros, lakberendező és műgyűjtő vette meg és alakította át kastéllyá. Az egykori templomban helyezte el műgyűjteményét, a kastély tereit megtöltötte bútoraival. Itt vendégeskedett szeretője, a tragikus sorsú Mágnás Elza is, korának bulvárhősnője, akinek meggyilkolt holttestét egy utazókosárban halászták ki a Dunából. Schmidt Miksa örökös nélkül halt meg, kastélyát és az azt övező parkot a fővárosra hagyta, azzal a kikötéssel, hogy közparkként és múzeumként működjön. Jelenleg a Budapesti Történeti Múzeum Kiscelli Múzeumának ad otthont, de az impozáns terekben megrendezett, izgalmas várostörténeti kiállítások a pandémia miatt egyelőre nem látogathatóak.
Be kell hát érnünk a környezetével, a 15 hektáros ősparkkal, mely kulturált sétahely szemetesekkel, padokkal, tűzrakó állomásokkal, sok egymást keresztező sétaösvénnyel és egy bringázásra alkalmas aszfaltozott úttal. A 17-es, a 19-es és a 41-es villamosokkal a Szent Margit Kórház megállóig utazzunk, innen a kórház parkja melletti meredek emelkedőn át közelíthetjük meg a múzeum bejáratát, amelytől balra az őspark is kezdődik.
Schmidt Miksa idejében jóval nagyobb volt a zöldterület, a műpártoló gyártulajdonos szobrokkal népesítette be, amiket később szétloptak. Ha eljön a tavasz, a védett, sárga téltemető nyílik errefelé – tény, hogy nyáron, zöldellve, madárcsicsergéssel jóval kellemesebb látványt nyújt, télen viszont azon kevés helyszínek egyike a fővárosban, ahol viszonylag sokáig megmarad a hó.
A 20. század elején agyagot és mészkövet fejtettek a területen, ezért is botlik az erre kiránduló nagyobb, azóta a növényvilág által benépesített gödrökbe, szakadékokba. A kastély oldalában még ma is tátong a csupaszon hagyott, rétegzett mészkőfal, mellette, a kastély hátsó bejáratától széles lépcsősor vezet lefelé.
A múzeum kapujától egy 14 stációból álló, 1810-ben épített kálvária vonul végig a park szélén, helyenként kilátással a városra és furcsa módon családi házakba ütközve, amikből pár található a területen. A stációsor egy barokk szoborcsoportba, a Golgotába torkollik, innen egy út vezet le az 1820-as években emelt Szent Vér-kápolnához. A kápolnába sajnos nem lehet bemenni, kivéve minden hónap első péntekjét, amikor imádságokat tartanak. A kápolnától lefelé haladva a Bécsi útra érünk ki.
A parkon áthalad a K+ jelzésű turistaút, amely a Bécsi út és a Doberdó út találkozásánál kezdődik, és a park után a Kolostor útra rátérve felvisz a Mátyás-hegyre és a Remete-hegyre, ott pedig közvetlen rácsatlakozást kínál a Hármashatár-hegyre vezető útra. Ez egy hosszabb, fárasztóbb túrát jelent; ha csak simán sétálgatásra és szép kilátásra vágyunk, a Kiscelli-parkerdő felfedezését összeköthetjük a József-hegyi kilátó és környékének bebarangolásával, amihez útba kell ejteni a Mátyás-hegyi-kőfejtőt, a Szemlő-hegyi-barlangot, innen 10 perc séta a József-hegyi kilátó, ahonnan a Rózsadomb kilátóit, a Mansfeld Péter parkot és Gül Baba türbéjét is elérjük gyalog.