A Batthyány téri csarnok házsora mellett rendszeresen elhaladók biztosan kiszúrják, hogy a piac mellett kettővel, a 4-es szám alatt álló ház több szempontból kilóg vagy inkább lelóg a sorból. Az aszimmetrikus épülethomlokzat, a tér szintje alatti elhelyezkedés és a 18. századba röpítő küllem több gyanút is kelthet a szemlélőben: a tér egyik legrégebbi házával lehet dolgunk, nem feltétlenül lakóépületként kezdte pályafutását, és a Dunával is lehetett néhány találkozója. Az idők folyamán Casanova-házra keresztelt „házaggastyán” múltjának kútja valóban mély, melybe ha lenézünk, nemcsak sok vizet, de vendégek hosszú sorát, vért, könnyeket és csókokat is látunk. A zárt sorú, két utcára néző (Gyorskocsi és Fő utca), két belsőudvaros lakóház a főváros egyetlen jelentősebb rokokó homlokzatú műemléke és a Víziváros legkiemelkedőbb védett épülete.
A helyszínt a 18. század közepén még két ingatlan foglalta el. A Batthyány térre néző épületszárny északi részén a Fogadó a Fehér Kereszthez (zum Weisse Krucifix) már bizton állt 1728-ban, mely tekinthető a ma látható ház ősének. Tulajdonosa a Tirolból Budára települt Falk Pál, akire apósa, bizonyos Hochenreüter János György kőműves hagyta az egyemeletes, kora barokk stílusú vendéglátó egységet. A fogadót Falk Ferenc József nevű fia örökölte tekintélyes vagyon kíséretében, aki 1766. február 27-én 2900 forintért és 600 dukátért megvásárolta a szomszéd telket Meinhardt Károly mézeskalácsmestertől. A fiú jól sáfárkodott a hagyatékkal és az ő nevéhez fűződik a telekegyesítés és a Fehér Kereszt felvirágoztatása.
A kor finom úri-, de annál dörzsöltebb üzletembereként ismert Falk Ferenc József birtokában számos ingatlan állt: övé volt a krisztinavárosi Alkotás-ház és a városi sörfőzde. 1767-ben a Budát és Pestet összekötő Európa-hírű hajóhídra is rátette a kezét. Ferenc az 1760-as évek végén adott megbízást egy előttünk ismeretlen építésznek a barokk stílusú fogadóépület és a szomszédos rokokó stílusú épület összeépítésére. A szakember a tér felőli részt és a déli udvari szárnyat egyemeletesre, míg a homlokzat középső felét, az északi udvari és az elválasztó keresztszárnyakat kétemeletesre alkotta meg. A Gyorskocsi utcára néző házrész szintén földszintes lett.
A Fehér Kereszt Buda legnépszerűbb szálláshelyei közé tartozott. Ehhez nagyban hozzájárult a Gyorskocsi utca névadója, a szomszédos postakocsi állomás, ahonnan Bécsbe lehetett utazni. A térre néző szárnyban a vendégek, míg az alacsony belmagasságú udvari helyiségekben a cselédség éjszakázott. Az árkádos földszintet nyitott kocsiszínként kell elképzelnünk. A tágas emeleti díszterem számos kulturális és közéleti esemény tanúja volt. Itt zajlottak az első budai színielőadások az 1760-as években, melyek rögtönzésen alapultak és gyerekek szerepeltek benne marionettbábukkal. Az itt rendezett farsangi táncmulatságok is szép summát hoztak Falk Ferencnek. Még korabeli lottósorsolásoknak szemtanúja is volt a helyiség 19. század elején.
Gazdag legendárium övezi az egykori híres vendégek körét. Mária Teréziáról úgy tartották, hogy a Fehér Keresztbe járt titkos pásztorórákra Grassalkovich Antal herceggel.
A legnépszerűbb sztori szerint 1782-ben az inkvizíció elől menekülő, Velence börtönéből megszökött Giacomo Casanova útban a mai Csehország felé megpihent az intézményben. És ha már itt járt, nem csak a rács mögött kapott nyavalyáit akarta enyhíteni a budai gyógyvizekkel, de a nők iránti olthatatlan szomját is.
A legnépszerűbb sztori szerint 1782-ben az inkvizíció elől menekülő, Velence börtönéből megszökött Giacomo Casanova útban a mai Csehország felé megpihent az intézményben. És ha már itt járt, nem csak a rács mögött kapott nyavalyáit akarta enyhíteni a budai gyógyvizekkel, de a nők iránti olthatatlan szomját is.
Elcsábította és megszöktette a fogadós lányát, a hírhedt csábító azonban pórul járt, mert a vőlegény hamar utolérte és még jól el is páholta az agg szívrablót. Memoárjában kicsit másképp festi le az esetet: a tabáni Hadnagy utcában szállt meg, Kosztjics Péternél, a Rác fürdő vendéglősénél és az ő Száva nevű lányát édesgette el. A történetben viszont közös, hogy itt is rajta ütöttek a vén szoknyapecéren, csak éppen egy csapat legény a Gellért-hegy oldalában – állítólag félholtra verték.
A legnagyobb név a fogadó történelmi vendéglistáján mégsem Casanova volt, hanem II. József. Őcsászári felsége kétszer is meglátogatta a Fehér Keresztet. Először 1783. április 26-án tette tiszteletét és a Generalitás tisztjei fogadták. Másnapi programja így zajlott: részt vett a várbéli plébániatemplom miséjén, megtekintette a klarissza zárdát, a Fegyvertárat (Zeghaust) és a Tereziánumot. Másodnap hajnalban távozott. A következő alkalommal, 1784. októberében már négy éjszakát töltött el Falk vendégeként. A fogadós olyannyira őszinte híve lett II. Józsefnek, hogy végrendeletében négyszázezer forintjának egynegyedét rá hagyta, ötven-ötvenezret pedig a királynéra és a napóleoni háborúk hadi rokkantjaira.
Falk Ferenc hagyatéki árverésén 1816. januárjában Diestinger József ácsmester és felesége tette a legjobb ajánlatot a házért, ötvenkétezer-hatszáz forintot. Az ő idején egyesült telekkönyvileg a két épület, vált lakóházzá a fogadó és nyerte el mai formáját Eckermann József budai építőmester ténykedése nyomán. Az egyemeletes részeket háromemeletessé, az udvari keresztszárnyat pedig klasszicista stílusúvá formálta. Továbbalakítani azonban sem az 1838-as, sem az 1876-os nagy árvíz nem bírta, sőt a ránk maradt emlékek azt bizonyítják, hogy még csónakáztak is az udvaron ekkortájt. Az emberi gonoszság viszont annál inkább megsebezte a Falk-házat, köszönhetően Heinrich Hentzi osztrák tábornoknak, aki '49-ben a szabadságharc idején bosszúból lövette a két város épületeit, köztük a császár kedvelt budai szállását – állítólag ekkor hősi halált a fogadó pénztárosnője. A tulajdonjog a század közepén egy Fischer Jakab nevű bőrgyároshoz került, akitől Sándor nevű fia örökölte meg.
Fischer Sándor halálával egyre több vérrel írt gyászos és tragikus fejezet íródott a ház emlékkönyvébe. Ő maga nyelvrákban távozott az élők sorából, József nevű öccse öngyilkosságot követett el. A 20. század elején egy Nánási Zsófia nevű cselédlány megmérgezte magát, a '20-as években egy napszámos asszony vetette le magát az emeletről. A '30-as évekre is jutott három eset: egy varrónő maró oldatot ivott, hogy véget vessen életének, egy mosónő tömény lúgot öntött az őt elhagyó férfi arcába, egy festőművész elvált feleségével vitázott, majd elvágta ereit egy borotvával a gangon. Maga a Casanova-ház a világháború okozta sebeket csak a '60-as évek közepére heverte ki. Olyannyira felgyógyult, hogy 1965-ben mindjárt meg is nyitották a Pannónia Szálloda és a Vendéglátóipari Vállalat üzemeltetésében az azóta híressé vált, de már bezárt Casanova bárt. Pályája elején ebben a vendéglátóipari egységben bontogatta szárnyait és az oktávokat Zámbó Jimmy.
