In 1974 werd het kasteelcomplex door het gemeentebestuur aangekocht, nadat twee jaar daarvoor de laatste adellijke bewoner, mevrouw C.F H. baronesse van Tuyll van Serooskerken-Quarles van Ufford, was overleden. In 1996 verkocht de gemeente voor het symbolische bedrag van 1 gulden het gehele complex aan Stichting Kasteel Geldrop.
De eerste bewoners die we in de archieven tegenkomen zijn Philip en Jan van Geldrop, die omstreeks 1350 het kasteel bouwen. De volgende twee eeuwen was het kasteel in bezit van het geslacht Van Horne, maar het werd nauwelijks bewoond. Rond 1600 vestigde Amandus van Horne zich op een woontoren vlak naast het kasteel. In 1616 liet hij de middeleeuwse bouwvallen opknappen. Dit bouwwerk met de karakteristieke trapgevels vormt nu het middendeel van het huidige kasteel; aan de grachtzijde is het jaartal in de muurankers nog terug te vinden.
