A középkori alapokra épített, mai formájában 18. századi polgárház névadója az egykori lakója, a kiváló finnugor nyelvész, az összehasonlító nyelvészet megteremtője, Budenz József volt. A kétszintes lakóházban ma Ybl Ervin művészettörténésznek a múzeumra hagyományozott gyűjteménye látható. Az Ybl-család az ausztriai Klosterneuburgból került Magyarországra a 18. század elején. E család leghíresebb sarja Ybl Miklós építész. A székesfehérvári születésű mester nevéhez olyan épületek fűződnek, mint a Budapesti Várkert Bazár és az Operaház. Székesfehérvárott, a mai Vörösmarty téren 1860-65 között épültek jellegzetes házai. Ybl Ervin, a kiváló építész, Ybl Miklós unokaöccsének fia, az olasz középkori és korai reneszánsz szobrászat egyik legkiválóbb magyar ismerője volt, aki 1962-ben kelt végrendeletében Székesfehérvár városára hagyta jelentős gyűjteményét.

Az Ybl-hagyaték egyrészt a család 18-19. századi bútoraiból, családi képeiből és dísztárgyaiból áll, másrészt Ybl Ervin képző- és iparművészeti magángyűjteményéből.