Het museum is nu nog gevestigd in Raamsdonkveer en herbergt de privécollectie van automagnaat Louwman. Over de verhuizing naar Den Haag is veel discussie. Omwonenden en natuurorganisaties zijn fel tegen bebouwing van het terrein en willen er een park aanleggen. De Haagse gemeenteraad stemde echter in met de komst van het museum.Omdat voor de bouw van het museum het Streekplan Zuid-Holland-West moet worden gewijzigd, moest ook de provincie Zuid-Holland akkoord gaan. D66, SP en GroenLinks stemden tegen, omdat in hun ogen de natuur te veel wordt aangetast. De SGP/ChristenUnie toonde zich evenmin voorstander omdat gedeputeerde J. van Nieuwenhoven niet wilde beloven dat ze bij gemeente Den Haag zou aandringen op compensatie elders in de stad van het groen dat bij de bouw van het museum verloren gaat.