Paladset blev oprindeligt bygget af Muhammad I Umayyad-emiren af Cordoba, og han brugte det som en forpost under sin regeringstid. Til sidst fornyede kong Henrik III den ved at tilføje tårne, da den også blev brugt til forsvarsaktiviteter. Senere brugte hans søn paladset som sin kongelige residens. Da Filip II kom til, gjorde han Madrid til Spaniens hovedstad og besluttede at renovere hele paladset.











