Pałac został pierwotnie zbudowany przez Muhammada I Umajjada, emira Kordoby, który wykorzystywał go jako placówkę podczas swoich rządów. Ostatecznie król Henryk III przebudował go, dodając wieże, ponieważ był on również wykorzystywany do działań obronnych. Później jego syn wykorzystywał pałac jako swoją królewską rezydencję. Po powstaniu Filip II uczynił Madryt stolicą Hiszpanii i postanowił odnowić cały pałac.