A Károlyi-család palotája már nem sokkal megépülése után a pesti irodalmi élet egyik központjává vált, hiszen Károlyi György szalonjának vendégei között szerepelt Vörösmarty Mihály, Kölcsey Ferenc és más irodalmárok. 1954-ben rendezték be az utca embere és a szakzsargon által egyszerűen csak „PIM” néven emlegetett intézményt.
A Petőfi Irodalmi Múzeum az irodalmi emlékek gyűjtését és őrzését végzi, ezen a téren hozzámérhető gyűjteménnyel csupán az Akadémia rendelkezik. Állandó Petőfi-kiállítása mellett különböző időszakos tárlatok tekinthetőek meg benne, de emellett programkínálata is igen széles: irodalmi beszélgetések, felolvasóestek, könyvbemutatók, koncertek és színházi előadások egyaránt szerepelnek palettáján. Emellett pedig a kastély szabadon látogatható udvara és az ott található étterem is nyújthat különleges élményt, hiszen nem mindennapi esemény Petőfivel kávézni.