Ugyan már 1847-re elkészült Pollack Mihály tervei alapján a Nemzeti Múzeum, még majdnem két évtizedet kellett várni arra, hogy a környékét is rendezzék. A környék a hírhedten rossz közbiztonságát részben a város szégyenfoltjaként is emlegetett Két Pisztoly nevű fogadónak köszönhette, melyet deklasszált, lumpen alakok és bűnözők bűnbarlangjaként emlegettek, és Ybl bérházának kellett megépülnie 1872-ben a helyén, hogy ez az állapot véget érjen.