Koning Willem I kocht in 1816 het woonhuis aan de Kneuterdijk van de adellijke familie Van Wassenaer Obdam als huwelijksgeschenk voor zijn zoon Willem II. Hij zou er met zijn vrouw Anna Paulowna tot zijn dood in 1849 wonen. Het woonhuis was in 1716 gebouwd naar ontwerp van Daniël Marot. De koning liet het tussen 1817 en 1820 ingrijpend verbouwen door de architecten Jan de Greef en Adrianus Noordendorp in empire stijl. Het is nu niet goed meer voor te stellen dat achter het paleis zich een compleet lustoord uitstrekte, met uitheemse dieren, oranjerieën, vruchtboomgaarden, vijvers, palmen en moestuinen. Via een brug had Willem II toegang tot het toen geheel afgesloten Willemspark, doorsneden met slingerpaden en vol prielen, beelden en vazen. Na 1879 toen Willem IV in Parijs overleed, was het afgelopen met het hofleven en de feesten. Het lustoord maakte plaats voor de Parkstraat, Paleisstraat, Oranjestraat, Amaliastraat en het Willemspark. In 1907 constateerde A.J. Riko in het jaarboek Die Haghe enigszins treurig: 'Inwendig is alles eenzaamheid en verlatenheid en in de reeksen zalen en salons, waren slechts schaduwbeelden van vervlogen grootheid rond.' Het paleis is nu opgenomen in het gebouwencomplex van de Raad van State.