Het paleis werd oorspronkelijk gebouwd door Muhammad I Umayyad Emir van Cordoba, en hij gebruikte het als buitenpost tijdens zijn bewind. Uiteindelijk renoveerde Koning Hendrik III het door er torens aan toe te voegen, omdat het ook voor defensieve activiteiten werd gebruikt. Later gebruikte zijn zoon het paleis als zijn koninklijke residentie. Nadat Filips II was ontstaan, maakte hij Madrid tot hoofdstad van Spanje en besloot hij het hele paleis te renoveren.