De villa, waarin het museum is gehuisvest, staat op de restanten van het Kasteel van Wageningen dat in 1673 door Franse troepen werd vernietigd. Zondag 15 juni kunt u bij uw museumbezoek een kijkje nemen in de overgebleven gewelfkelder naast het museum. Deze kelder is alleen op speciale dagen voor publiek toegankelijk. Achter het museum zijn restanten van het kasteel en stadsmuren te zien.
