En el emplazamiento del palacio de Felipe II, incendiado en 1604, Felipe III mandó construir esta vasta residencia que fue modificada en 1772 por Sabatini. Fue la residencia oficial de los soberanos españoles durante mucho tiempo y del general Franco..

Una capilla alberga un Cristo yacente de Gregorio Hernández, obra maestra de la escultura española realizada en madera policromada en 1605 por encargo de Felipe III.

El pabellón del Príncipe fue construido en 1772 y totalmente reacondicionado en 1784 por Juan de Villanueva. Es un pabellón de piedra y ladrillo, decorado al gusto de finales del s. XVIII, con gran refinamiento y riqueza: muros tapizados de seda y ..

Esta antigua residencia del duque de Arco se convirtió en propiedad real en 1745. Llama la atención la elegante colección de papeles pintados (principios del s. XIX) que decoran los muros.