Az épület az 1720-as években épült, eredetileg a Rakovszky család tulajdonában volt. A Magyar Tudományos Akadémiához az 1994. évi XL. A Magyar Tudományos Akadémiáról szóló törvény hatályával került. Az egyszerű barokk homlokzatú, felújított épületben különféle korokat felidéző, részben muzeális értékű berendezési tárgyak, antik bútorok egészítik ki az épület „kőbe vésett” emlékeit. A műemlék épület még ma is sok érdekességet rejt az idelátogatók számára.