In het voorjaar van 1899 liet jonkheer Helenus Marinus Speelman zijn oog vallen op dit terrein, waar hij besloot een buitenhuis op te laten bouwen. De jonkheer kocht het terrein van Van der Oudermeulen. Destijds luisterde het terrein naar de naam ‘Groot Hoefijzer’, een statige buitenplaats met een monumentale boerderij met een grote vijver. De boerderij werd afgebroken om het nieuwe buitenhuis van de jonkheer op te laten verrijzen. Hij vernoemde het terrein naar de vroegere naam van de boerderij ‘Wiltenburg’, naar de vrouw van de toenmalige eigenaar, Suzanna de Wildt.

Jonkheer Speelman is een afstammeling van Cornelis Speelman, de gouverneur-generaal van het voormalig Nederlands Oost-Indië. De Friese roots van de gouverneur-generaal zijn nog steeds zichtbaar in het kasteel door de Hindelooper-kamer.

Het ontwerp voor dit gebouw kwam van de hand van architect J.J. van Nieukerken, die ook verantwoordelijk was voor het ontwerp van het Academisch Ziekenhuis Groningen en het Koninklijke Petroleum in Den Haag. Jonkheer Speelman was vol lof over zijn eigen plan: het huis moest zo indrukwekkend mogelijk zijn voor kennissen en bezoek. Hij was dan ook prominent aanwezig op het bouwterrein. Echter bemoeilijkte dit de bouw. De jonkheer wijzigde geregeld tussentijds zijn plannen. Daardoor moesten meerdere keren delen van het kasteel worden afgebroken en opnieuw worden opgebouwd. In 1901 was de bouw van De Wittenburg voltooid. Lang kon jonkheer Speelman niet van zijn buitenhuis genieten. Acht jaar later overleed hij door zichzelf van het leven te beroven. Tijdens de Tweede Wereldoorlog werd De Wittenburg bewoond door Duitse officieren. Daarna werd het een pension. Het kasteel werd in 1955 verkocht aan de gemeente Wassenaar.