Il palazzo fu originariamente costruito dall'emiro di Córdoba Muhammad I Umayyad, che lo utilizzò come avamposto durante il suo regno. Alla fine, il re Enrico III lo ristrutturò aggiungendovi delle torri, in quanto veniva utilizzato anche per attività difensive. In seguito, suo figlio utilizzò il palazzo come residenza reale. Dopo l'avvento di Filippo II, egli fece di Madrid la capitale della Spagna e decise di rinnovare l'intero palazzo.