Según las antiguas leyendas sería una fortaleza cartaginesa sobre la que después, según otra tradición, estaría el Castillo en el que se refugiaron los cristianos a la llegada de los árabes en año 711. A la vista del edificio y tras el estudio del mismo, mantenemos la siguiente cronología: lo más primitivo que se conserva del edificio es el núcleo de la torre del Homenaje, que fue torre puerta de las murallas del Adaja, posteriormente incluida dentro de dicha torre, como bien se aprecia en el lienzo este y en el interior. La ampliación del castillo ejecutada a mediados del siglo XIV, se realizó en piedra caliza, con la planta pentagonal que hoy tiene. A mediados del siglo XV se realizaron obras en el mas puro estilo mudéjar, no exento de alguna influencia italiana en los métodos de fortificación, que es lo que se aprecia en el ladrillo. Ya en el siglo XVI se realizan reformas. Entre ellas las troneras que la transforman en una fortaleza artillera, se cubre la torre del homenaje con un chapitel con hoja de lata rematada por un guerrero y se añaden las defensas delante, con foso y muros en escarpe, con dos pisos abovedados y arpilleras para arcabuces y cañones, actualmente desaparecidas. En 1812 deja de ser Patrimonio real y su recinto arruinado es utilizado como cementerio hasta finales de siglo. En 1952 lo restaura con excesiva libertad el Ministerio de Cultura y es convertido en silo. Hoy esta acondicionado para reuniones.