Het schilderij maakte voor de Tweede Wereldoorlog deel uit van de kunstverzameling van het echtpaar Lewenstein. Op 9 oktober 1940 kocht de gemeente het werk op een veiling en nam het op in de collectie van het Stedelijk Museum. In 2012 vroegen de erfgenamen van het echtpaar de gemeente om teruggave van het schilderij. Beide partijen besloten daarop gezamenlijk om de restitutiecommissie van het ministerie van Onderwijs, Cultuur en Wetenschappen bindend advies uit te laten brengen over de vraag of het schilderij inderdaad aan de erfgenamen moest worden teruggegeven. Een onderzoek van vier jaar leidde uiteindelijk tot de conclusie dat het schilderij niet hoefde te worden teruggegeven.

De erfgenamen waren het daar niet mee eens en stapten naar de rechter. Maar die stelt hen op alle punten in het ongelijk, onder meer omdat was afgesproken dat het advies van de commissie bindend zou zijn. Volgens de rechter is het advies billijk en redelijk en kan het blijven staan en blijft Kandinsky’s Bild mit Häusern uit 1909 in bezit van Amsterdam.

„De familie Lewenstein is na vele jaren van strijd zeer teleurgesteld dat de rechtbank Amsterdam het recht op teruggave van hun tijdens de Holocaust gestolen eigendom niet erkent”, aldus de advocaten van de familie. Ze laten weten dat de erfgenamen in hoger beroep gaan tegen de uitspraak.