El Castillo-Palacio está formado por un recinto cuadrangular irregular, almenado, con cubos de planta circular con saeteras en cada esquina, constituyendo una sólida estructura defensiva.
El acceso, orientado al mediodía, a la Plaza Mayor, se realiza a través de un arco de medio punto flanqueado por dos cubos de planta circular con saeteras. El resto de los lienzos poseen, en su punto medio, una torre de planta cuadrada con saeteras que han sido reaprovechadas como palomares, incrementando su alzado a base de tapial.
Dentro de este recinto defensivo se sitúan el palacio y las edificaciones anejas, separadas de la muralla por una amplia calle de ronda. Parece ser que este castillo tuvo un origen medieval pasando, en época posterior, a ser el centro de administración del señorío de Alija.
Fue reconstruido tras el incendio que sufrió en 1808, quedando inutilizable después de un segundo incendio sucedido en 1888.
El edificio fue vendido en el siglo XX a los hermanos Heliodoro y Simón Pérez, que lo dividieron a la mitad. Sus herederos edificaron sus casas dentro del castillo. (Patrimonio JCyL)
