Aki siklóval érkezik a Várba, az rögtön a Sándor-palota hófehérre meszelt, dór oszlopos épületébe „botlik”, ami eredetileg nem köztársasági elnöki rezidenciának, hanem magánpalotának épült. Leghíresebb lakója, az Ördöglovas néven legendássá vált Sándor Móric egész Pest-Buda és Bécs lakosságát lázban tartotta akrobatikus lovas mutatványaival, sőt gyakran a ház erkélyén pipázgatott lóháton. A kiegyezés utáni években már reprezentatív célokra használták az épületet, Andrássy Gyula volt az első miniszterelnök, aki beköltözött a palotába, Teleki Pál pedig itt vetett véget az életének.
A törökök kiűzése után sokáig katonai építmények álltak a Szent György téren, ezek többségét a 18. század végéig használták, így a Sándor-palota területén álló tüzérlaktanyát is. Mivel a 19. században a görög és római kultúra alapjaira épülő klasszicista stílus volt divatban, így Sándor Vince is e szerint építtette fel palotáját.
Mivel Budapest ostromakor lényegében megsemmisült az épület, minden műkinccsel és berendezéssel, sőt az eredeti terveivel együtt, így a mai napig vita tárgya az építész személye. Valószínű, hogy az alapkoncepció Johann Aman, a bécsi Udvari Építészi Igazgatóság vezetőjének fejéből pattant ki, míg a belső terek díszítése és a kivitelezés irányítása már Pollack Mihály feladata volt.
Annak ellenére, hogy a palota kívülről meglehetősen puritán képet mutat, a kapun átlépve már egészen más a helyzet. Egy 1822-ből fennmaradt részletes leírásból tudjuk, hogy színpompás, selyemmel és arannyal gazdagon díszített helyiségeket alakítottak ki benne.
Volt sárga és kék selyemmel borított játékszoba, 18. században készült gobelinnel borított szalon, zöld, vörös és sárga kárpitos falak, de a fehér márvánnyal borított tükörterem sem maradhatott ki a helyiségek sorából. Sőt, még gőzfűtés és vezetékes víz is volt a házban, ami akkor még hatalmas ritkaságnak számított. Az épület teljes restaurálása 2002-ben fejeződött be, a belső terek az eredeti, 1806-os, míg a bútorok a két világháború közötti állapotot tükrözik.
A Sándor család nem feltétlenül az egyszerűségéről volt híres, Sándor Vince például egy titkos folyosót építtetett a palota és a Várszínház közé, hogy ne kelljen kilépnie az utcára, de a fia, Sándor Móric még az épületben is képes volt lóháton közlekedni. Annak ellenére, hogy édesapja a széltől is óvta Móricot, miután megörökölte a címeket és a birtokokat, extrém mutatványokba kezdett: nem egyszerűen csak megszerette a lovaglást, de őrült szenvedélyévé is vált.
Eleinte csak póznán ugratott át, később már nyereg nélkül ült a lóra és Angliában egy betörhetetlennek hitt állatot is képes volt megszelídíteni, ráadásul úgy, hogy még versenyt is nyert vele – ezután kezdték Ördöglovasként emlegetni. Első produkcióját egyébként a Deák Ferenc utcában mutatta be: két kocsi közül ugratott ki lovával, de úgy, hogy közben három egymás mellett álló másik lovat is átugratott.
Az 1848-49-es szabadságharc leverése után az ország kormányzója, Albert herceg költözött a palotába, majd 1867-ben Andrássy Gyula vetette fel az ötletet, hogy alakítsák át kormányrezidenciává és a mindenkori magyar miniszterelnök otthona legyen. A renoválási és átalakítási munkákat Ybl Miklós tervei szerint készítették, ekkor alakították ki a Vörös szalont – ma Mária Terézia-szalon –, amit az Ybl tervezte stukkók díszítenek. 1945-ig összesen 16 miniszterelnök lakott a palotában, ahol 1941. április 2-ról 3-ra virradó éjjel Teleki Pál öngyilkos lett.
A 2. világháborúban a Sándor-palota déli része teljesen beomlott, a műkincsek többsége megsemmisült, de ami épségben megúszta a bombatalálatot, azt is széthordták. A háború utáni újjáépítésben csak állagmegóvást kapott, de felmerült, hogy ide helyezik a Legújabbkori Történeti Múzeum kiállítását, de végül csak raktárként használták. Sokáig csak toldozták-foltozták, majd 2000-ben indult meg az épület teljes rekonstrukciója, ami az akkori tervek szerint ismét megkapta volna a miniszterelnök rezidencia funkciót, de végül a köztársasági elnök otthona lett.
