Az épületet a század egyik legtekintélyesebb főura, Grassalkovich I. Antal építtette, ráadásul a korszak akkori sztárépítőmesterével, Mayerhoffer Andrással. A Grassalkovich család kihalása után több tulajdonosa is volt a kastélynak, a magyar állam 1867-ben visszavásárolta, felújította, átalakította, majd koronázási ajándékként I. Ferenc Józsefnek és Erzsébet királynénak adományozta. A korhű szobákban ma kiállítást és előadásokat nézhetünk meg, de érdemes a kertet is bejárni, amit Grassalkovich Versailles mintájára alakíttatott ki.
Annak ellenére, hogy az évszázadok során mennyi mindent átélt ez az épület – tűzvész, háborúk és kórházzá alakítás –, itt rengeteg minden eredeti: a freskók, a padlózat, a márvány. A család művészet- és tudományszeretete a kastély díszítésében is meglátszik, a legek legje egyértelműen a díszterem, ahol monokróm freskókról köszön vissza Ráday Gedeon kedvenc könyvének – Ovidius: Átváltozások – témája. A Ráday-kastélyban megfordult a felvilágosodás korabeli egész magyar értelmiség, de a bálokra és a koncertekre még II. Lipót és II. József is ellátogatott. Az már csak hab a tortán, hogy Jókai Mór és Laborfalvi Róza itt töltötték szerelmes éveiket.
A birtok fénykora és az épület bővítése Brunszvik Ferenchez kötődik, bár ekkor még klasszicista stílusban, és Beethoven is ebben az állapotában látta az épületet, amikor Teréz és Jozefin zongoratanításával volt elfoglalva, a szonátáin dolgozott vagy éppen Jozefinnel andalgott szerelmesen a parkban. Az angolos neogót külsőt az 1870-es években szerezte, amikor Brunszvik Gézára szállt az örökség, de a század végére nehéz anyagi helyzetbe került a család, így a négygenerációs birtok előbb a Habsburgok, majd Dreher Antal tulajdonába került. Három izgalmas múzeum, egy jó étterem és egy frissítő parkséta is vár arra, aki Martonvásár felé veszi az irányt, ami még vonattal is csak fél óra távolság.
Az egyemeletes kastélyt 1821-ben építették, de a ma látható, klasszicista formáját az 1870-es években nyerte el. Egészen a II. világháborúig a Tisza család tulajdonában volt, de mivel a leszármazottak elmenekültek az országból, a kastélyt utolérte az államosítás, a toldozás meg a pusztulás. A 2016-ban felújított épület a Magyar Cserkészszövetségé, különféle rendezvények és persze esküvők otthona, így mi leginkább csak a tízhektáros, ősfás parkban sétálhatunk, a kastélyban pedig a területen lévő cukrászdában gyönyörködhetünk.
A ma emlékházként funkcionáló épületben a kitelepítésig élt Klebelsberg özvegye, ám ahogy a kastélyokkal abban a korban szokás volt, ezt is lefoglalta az állam, a 4000 kötetes könyvtárat pedig teherautóra dobálva elszállították. Működött SZOT-üdülőként, szanatóriumként, pszichiátriaként, majd egészen sokáig funkció nélkül pusztult és kallódott, hol hajléktalanok „szállása”, hol graffitizők vászna volt. 2013-ban döntöttek az épület felújításáról és a korhű állapotok visszaállításáról. Az emlékház szalonját magánadományokként kapott antik bútorokkal és festményekkel rendezték be. Az eredeti falépcső teljes egészében megsemmisült, de sikerült a régi mintájára felépíteni egy újat. A II. kerületi kastélyt és az emlékházat előzetes bejelentkezés után lehet látogatni.