Saray ilk olarak Cordoba Emiri I. Muhammed tarafından inşa ettirilmiş ve hükümdarlığı sırasında ileri karakol olarak kullanılmıştır. Sonunda Kral Henry III, savunma faaliyetleri için de kullanıldığı için kuleler ekleyerek burayı yenilemiştir. Daha sonra oğlu Sarayı Kraliyet konutu olarak kullanmıştır. Philip ortaya çıktıktan sonra Madrid'i İspanya'nın başkenti yaptı ve tüm Sarayı yenilemeye karar verdi.