O palácio foi originalmente construído por Muhammad I Umayyad Emir de Córdova, e ele o usou como posto avançado durante seu reinado. Por fim, o rei Henrique III a reformou, acrescentando torres, pois ela também era usada para atividades defensivas. Mais tarde, seu filho usou o palácio como sua residência real. Após a criação de Filipe II, ele fez de Madri a capital da Espanha e decidiu reformar todo o palácio.