Het pand waarin het museum is gevestigd, dateert uit 1641 en is dringend aan restauratie toe. Bovendien heeft het museum meer ruimte nodig. Het Britse architectenbureau JHA behoort tot de internationale top op restauratiegebied. Het Rotterdamse bureau maakt ontwerpen die nieuwbouw „op vanzelfsprekende en eigentijdse wijze verbinden met de stedelijke of landschappelijke omgeving”, aldus de gemeente in een toelichting.

In de jaren 2015-2017 wordt het historische pand grondig aangepakt. Zo komt er een nieuwe klimaatinstallatie en worden verschillende ruimtes en het horecagedeelte onder handen genomen. De overkapping van het voorplein, die in 1992 was aangebracht als noodoplossing, verdwijnt weer.

Het hele project gaat 16 miljoen euro kosten. De gemeente heeft een bedrag van 13,5 miljoen beschikbaar gesteld.

Het museum beschikt over werken van bekende oude meesters als Lucas van Leyden, Rembrandt en Jan Steen, maar ook van moderne kunstenaars als Theo van Doesburg, Jan Wolkers en Erwin Olaf.