Dit is één van de grootste hofjes in Nederland en de bouw daarvan was destijds een zeer dure aangelegenheid. Het is gesticht door Johan de Bruijn van Buijtenwech, heer van Nieuwkoop, Noorden en Achttienhoven. Het huwelijk van de rijke De Bruijn en van zijn al even rijke vrouw Maria Cornelia van Duyvelandt van Rhoon, beiden van katholieke huize, was kinderloos gebleven. Er waren geen erfgenamen. In 1656 bepaalde hij in zijn testament dat na zijn overlijden (hij stierf in 1657) 'alhier in den Hage sullen worden gemaeckt sessendartich woonhuysen voor arme ende behoeftige weduwen ofte vrouwspersonen op soodanige manier als juffer VAN WOUW heeft gedaen maecken,..' . Hij noemt hier het hofje van Cornelia van Wouw aan de Lange Beestenmarkt als voorbeeld. De huizen moesten komen te staan op een aantal percelen die hij in 1648 en 1656 aan de Prinsegracht had gekocht. Voor de bouw nam De Bruijn van Buijtenwech niet de eerste de beste architect in de arm. Hij koos voor Pieter Post, één van de belangrijkste bouwmeesters uit zijn tijd. Post bouwde onder meer Huis ten Bosch, het gebouw van de Staten van Holland aan het Binnenhof en het stadhuis van Maastricht.