De Restitutiecommissie meent dat aan het begin van de Tweede Wereldoorlog sprake was van „onvrijwillig bezitsverlies” door de vroegere eigenaar, apotheker en verzamelaar Emanuel Vita Israël (1873-1940). Hij bezat een grote collectie schilderijen en antiek die hij voor het publiek toegankelijk maakte in stijlkamers in zijn woning in Amsterdam. Ook was hij in 1932 betrokken bij de totstandkoming van het Joods Historisch Museum, waaraan hij enkele objecten uitleende.

Enkele dagen na de Duitse inval pleegde hij op 15 mei 1940 zelfmoord, waarna zijn verzameling werd geveild. Volgens de Restitutiecommissie houdt zijn zelfmoord verband met „omstandigheden die direct in verband stonden met het naziregime”. Direct na de inval maakten vele Joodse Nederlanders een einde aan hun leven. Vita Israël had pas medio 1939 de verplichting in zijn testament opgenomen de collectie onder de hamer te brengen. In zijn eerdere testament kwam deze bepaling niet voor.

In november 1940 werd de verzameling geveild, waaronder ook het Raadsel van Nijmegen. In 1971 heeft de gemeente Nijmegen het te goeder trouw gekocht. De Restitutiecommissie concludeert echter dat het belang van de erfgenamen van teruggave van het schilderij „zwaarwegender” is dan het belang van de gemeente om het werk te behouden.

Museum Het Valkhof heeft al laten weten dat het schilderij van Coeuershof niet zo belangrijk is, het bevindt zich vrijwel altijd in het depot. In de gemeentelijke collectie van de Gelderse stad bevinden zich verschillende geschilderde en gedrukte versies van het thema Raadsel van Nijmegen, waarvan de bekendste versie al eeuwenlang in het Nijmeegse stadhuis hangt. Van de familie van Vita Israël overleefden alleen een schoondochter en haar twee dochters de oorlog.