El palacio fue construido originalmente por Muhammad I, emir omeya de Córdoba, y lo utilizó como puesto avanzado durante su reinado. Con el tiempo, el rey Enrique III la reformó añadiéndole torres, ya que también se utilizaba para actividades defensivas. Más tarde, su hijo utilizó el palacio como residencia real. Tras la llegada de Felipe II, hizo de Madrid la capital de España y decidió renovar todo el palacio.