As origens do Castelo remontam conjecturalmente à presença árabe, como o topónimo ‘Almeida’ o indica. No reinado de D. Dinis, sofreu melhorias significativas bem como no reinado de D. Manuel no seculo XVI, onde Francisco Danzilho chefiou a intervenção. As obras de 1695 transformaram o obsoleto Castelo quinhentista com a sua torre de menagem num armazém de munições e de pólvora. A 26 de Agosto de 1810, durante as Invasões Francesas, deu-se a explosão do Castelo. As ruinas permitem a leitura de uma planta quadrangular e irregular, cercada de um fosso lajeado com contra-escarpa, revestida a cantaria, apresentando nos quatro ângulos as fundações das quatro torres da planta circular. O Castelo tinha uma única porta virada a norte, com uma ponte de madeira que comunicava com o exterior. Apresentava ainda outra muralha com uma altura muito superior a primeira e uma torre de menagem com bastante altura. Há quem diga que de la se avistavam onze bispados, tanto de Espanha como de Portugal. Alem dos Bispados ainda se avistavam alguns Castelos como os de Castelo Rodrigo, Castelo Bom, Alfaiates, Guarda, Trancoso, Vila do Toiro, Moreira de Rei Marialva e Longroiva. O interior do Castelo era composto por vários armazéns onde se guardavam combustíveis, armas, ferramentas, etc., formando no seu meio um pátio de forma rectangular, estando ocupado por pilhas de balas, bombas e granadas de diferentes calibres. Na entrada do Castelo, de ambos os lados existiam duas salas de armas e ao centro do pátio interior, onde iam dar todas as portas dos armazéns havia um poço.