A Petőfi Irodalmi Múzeumnak (PIM) otthont adó Károlyi-palota már a megépülte után a pesti irodalmi élet és a fényűző estélyek egyik fontos helyszíne lett. A vidéki kastélyok és a városi paloták hangulatát és építészetét ötvöző épületben gyakori vendég volt Vörösmarty Mihály, Kölcsey Ferenc és Wesselényi Miklós, de még Liszt Ferenc is zongorázott az estélyeken. A szabadságharc után változott a helyzet, a Károlyiak már csak néhány szobát használhattak, mert a palotában a véres megtorlások parancsnoka, Haynau alakította ki főhadiszállását.
A 20. században ismét változások történtek a palota életében, az 1900-as évek elején femerült, hogy a rossz anyagi helyzete miatt a Károlyi család eladja a palotát és a kertet, hogy a telken bérházakat építsenek. Károlyi Mihály megvétózta ezt az ötletet és modernizálta a palotát, az istállók helyére pedig garázst építtetett. Károlyi emigrációja idején a palota évekig állt üresen, felmerült, hogy a kertjében építik fel a Nemzeti Színházat, de végül a Főváros csapott le a telekre, és megnyitották az épületben a Fővárosi Képtárat, majd ennek megszűnése után, 1957-ben a Petőfi Irodalmi Múzeum költözött a palota tereibe.
A múzeum belső tereinek felújítása a 2022–2023-as Petőfi-emlékévhez kapcsolódik, a kiállítási tereket akadálymentesítik, a tervek szerint újra összenyitják a Károlyi-palota udvarát a Károlyi-kerttel, amit 1932-ben nyitottak meg közparkként, valamint teljesen megújul a PIM állandó Petőfi-kiállítása is. A múzeum és a kiállításai várhatóan ősszel nyitnak újra.
