Palasset ble opprinnelig bygget av Muhammad I Umayyad-emiren av Córdoba, og han brukte det som en utpost under sin regjeringstid. Etter hvert pusset kong Henrik III den opp ved å bygge til tårn, siden den også ble brukt til forsvarsformål. Senere brukte sønnen Palasset som sin kongelige residens. Etter at Filip II kom til, gjorde han Madrid til Spanias hovedstad og bestemte seg for å renovere hele Palasset.











