Het kasteel dateert van voor 1372. Het was toen een sterke vesting die werd bewoond door de beruchte roofridders van Wisch. Tussen 1505 en 1508 trachtte Hertog Karel van Gelre tevergeefs de burcht te overmeesteren. Na 1541 kwam het landgoed door huwelijk in het bezit van de graven van Limburg Stirum. Van 1790 tot 1840- het jaar van zijn dood- woonde er de bekende dichter A.C.W. Staring die begraven ligt op de Algemene Begraafplaats te Vorden. Huidige (1999) bewoner is Ir. D.M.W. Staring, een nazaat van de dichter. Collectie Carlo Bosch.
