Der Palast wurde ursprünglich von Muhammad I., dem Umayyaden-Emir von Córdoba, erbaut und diente ihm während seiner Herrschaft als Außenposten. Schließlich baute König Heinrich III. die Burg um und fügte Türme hinzu, da sie auch für Verteidigungszwecke genutzt wurde. Später nutzte sein Sohn den Palast als seine königliche Residenz. Nachdem Philipp II. die Macht übernommen hatte, machte er Madrid zur Hauptstadt Spaniens und beschloss, den gesamten Palast zu renovieren.