Azon persze nem kell csodálkoznunk, hogy egy 800 éves épületben, ami az 1200-as évek második fele óta áll a helyén, volt már minden, amit csak el tudunk képzelni. Ennyi idő alatt és korról korra haladva ez el is várható tőle. Ráadásul megúszott mindent, a törökök betörésétől kezdve Buda visszafoglalásán át a II. világháborúig, mondhatni, nem bántotta senki, gond nélkül túlélt mindent és mindenkit. Bár a 18. században hozzányúltak, több egymás mellett álló épületet fűztek egybe, de a külsején ez sokat akkor sem változtatott. Ma ez az épület számít az I. kerület legrégebbi épületének, aminek egyes elemei abból a pár gótikus házból valók, melyeket valamikor 1260 után emeltek. Az épület múltjáról több emléktábla is tanúskodik, melyek között még egy muzeális darab is található: 1866-ban került fel a ház falára.
A Vörös Sün Ház egy saroképület, melynek több irányból is van bejárata: a Hess András tér, valamint a Fortuna utca és a Táncsics Mihály utca felől is. Ránézésre a ház semmi különös, egy puritán, klasszicista jellegű épület, melyen a korábbi – középkori – házak egyes elemei is felfedezhetők (például ablakkeret, ajtónyílás). Különös nevével kapcsolatban joggal merül fel az emberben a kérdés: honnan és miért kapta? Egy fogadóról, ami a török kiűzése és a ház helyreállítása után nyitott meg, 1696-ban. Sokáig ez volt a Budai Várnegyed egyetlen fogadója, ami azt feltételezi, hogy mivel nem volt választási lehetőség, ezért nagyon népszerű hely lehetett az utazók és a szállást keresők körében. A Vörös Sün fogadó egészen 1805-ig működött, bár érdekes módon a homlokzatán látható Vörös Sün dombormű ezt követően került ma is látható helyére.
A mai épület elődjei – összesen négy gótikus ház – az 1200-as évek második felében épültek fel. Első ismert tulajdonosa az 1300-as évek első felében Kont Miklós volt, aki Nagy Lajos pohárnokmestere volt, majd nádor. Halála után az épület pálos szerzeteseké lett, nekik a nádor özvegye ajándékozta a házat. Mivel itt őrizték Remete Szent Pál egyik ereklyéjét, így ebben az időszakban Remete Szent Pál testét őrző házként emlegették a későbbi Vörös Sün Házat. A törökökkel kétszer is rosszul járt az épület: akkor is megsérült, amikor megérkeztek a hódítók, és akkor is, amikor kiűzték őket Budáról meg az országból. Talán némi kárpótlást nyújthatott, hogy az épület előtti téren lelte halálát Buda utolsó török kormányzója, Abdurrahmán Abdi Arnaut pasa.
Az épület története a török kiűzése után lódult meg igazán. Ekkoriban kézről kézre járt: előbb Petrovay László, Pest-Pilis vármegye alispánjának tulajdona volt, majd az esztergomi káptalané lett, és rövid ideig egyetem is működött benne. Aztán fokozatosan vált a környék kulturális bázisává, ahol meg is lehetett szállni. Az első fontos változás akkor történt, amikor 1764-ben a kertben tánctermet alakítottak ki, majd egy osztrák színigazgató, bizonyos Felix Berner javaslatára egy színpadot is felépítettek ugyanott. Itt rendezték meg az első budai színházi előadást, ami után nem sokkal beköltözött az épületbe az első magyar gyermekszínház (Verner Színház). 1773-ban Nöpauer Máté építőmester vásárolta meg a házat, és szinte azonnal benyújtott egy kérelmet a városi tanácshoz, melyben azt kérte, hogy a nagyteremben bálokat tarthassanak. A városvezetés azonban nem támogatta az ötletet, mondván: Budának nincs szüksége vigadóra. 10 évvel később viszont teljesen megváltozott a helyzet.
1783-ban Pozsonyból Budára költözött a helytartótanács, aminek az lett az egyik következménye, hogy alaposan megnőtt a Budára érkezők száma, így az eddiginél is több szálláshelyre volt szükség. Ezért a városvezetés arra kötelezte a tulajdonost, hogy bővítse és korszerűsítse a fogadót. Meglepő módon azonban ő ellenállt a parancsnak, majd 1789-ben bérbe adta az épületet, és ekkor némi bővítési munkát végeztek el rajta, illetve ekkor költözött ide egy Meyer Johann nevű fogorvos rendelője, ami annyira jól működött és jövedelmezett, hogy egyre több helyet vett el a fogadótól, ami 1805-ben végül befejezte működését. 1810-ben komolyabb átépítést hajtottak végre az épületen, ami ekkor kapta meg a napjainkban is rá jellemző klasszicista külsőt.
De ebben az időben a Vörös Sün Ház jelentősége alaposan lecsökkent, ekkor már csak egy ház volt a Várnegyed sok épülete közül. A 20. század elején kabaré működött a ház falai között, majd később bordélyház, amit 1938-ban záratott be a hatóság. A II. világháborút komolyabb sérülés nélkül úszta meg az épület, amit 1959-ben újítottak fel, majd a rendszerváltás időszakában ismét renoválták. Az egykori fogadó mosókonyhájában az 1970-es években egy ételbárt alakítottak ki. Napjainkban egy népművészeti bolt és egy kávézó működik az épületben, ami mellett nap mint nap elsétálnak sokan anélkül, hogy akár csak egy pillantást is vetnének rá. Mindössze a méretes épület falaira kihelyezett emléktáblák jelzik, milyen régi házról van szó, amely sok mindennek volt „szemtanúja”.
