Le palais a été construit à l'origine par Muhammad Ier, émir omeyyade de Cordoue, qui l'a utilisé comme avant-poste pendant son règne. Après J.-C., le roi Henri III l'a réaménagé en y ajoutant des tours, car il servait aussi à des activités défensives. Plus tard, son fils a utilisé le palais comme résidence royale. Après l'avènement de Philippe II, celui-ci fit de Madrid la capitale de l'Espagne et décida de rénover l'ensemble du palais.