Изначально дворец был построен эмиром Кордовы Мухаммадом I Омейядом, и он использовал его как форпост во время своего правления. В конце концов король Генрих III перестроил его, добавив башни, так как он использовался и для оборонительных действий. Позже его сын использовал дворец в качестве своей королевской резиденции. После появления Филиппа II он сделал Мадрид столицей Испании и решил отреставрировать весь дворец.