Para escribir la historia de este paraje tenemos que volver la vista atrás hasta la Edad Hierro, cuando se empieza a tener constancia de un poblamiento sobre este enclave. Pero será por el siglo X cuando los árabes construyan una fortificación , la cual tomará un papel relevante en la linea defensiva del Duero durante la Reconquista. Alrededor de estas fechas este castillo cambiará de manos continuamente hasta que los cristianos afiancen bien la zona tras las duras batallas disputadas.
Es ya sobre el siglo XV cuando la familia Tovar construye la fortificación, que se puede apreciar desde el interior del castillo actual y de la cual se aprovecharán ciertas partes para la construcción de la definitiva e inacabada plaza. Es a Benedetto de Rávenna a quien se atribuye esta edificación final que le es encargada en el siglo XVI por la casa de los Tovar y Velasco.
Debido a la construcción del palacio que se encuentra en la falda contraria al Escalote, cambian las funciones del castillo, que es solamente utilizado defesivamente y como carcel en la que estuvieron retenidos los delfines de Francia en 1529. Tras todos estos acontecimientos se fue abandonando.
En la actualidad es un símbolo de la villa de Berlanga y gente de toda España y el extranjero pasan a visitar este monumento que guarda en sus muros parte de la historia de este pintoresco pueblo
