Foi no cimo da penha onde Penamacor se eleva, que segundo a lenda local, terá nascido o Rei Vamba. Um monarca dos Visigodos do século VII, envolto em lendas, e cujo nome está muito ligado à Beira Baixa. Mas as lendas sobre Penamacor são inúmeras. Desde a de um falso D. Sebastião regressado de Alcácer Quibir que aqui se terá instalado ou as que explicam o nome da terra.
Certo é que D. Sancho I deu foral a Penamacor e será dessa altura o início da construção do Castelo. A torre de menagem é o testemunho mais forte de um edifício, que a seguir à guerra da restauração foi diminuindo.
Houve pedras e muralhas que desapareceram, mas o que permanece dá pistas sobre como viveu esta terra de fronteira. Toda a área antiga foi agora reabilitada num investimento que alcançou um milhão de euros.
Mas voltemos aos Visigodos, até porque não muito longe deixaram marcas mais intensas do que as lendas, em Idanha-a-Velha. A forte tradição do rei Vamba aqui ter nascido não está comprovada, assim como ser berço do Papa, São Dâmaso. Mas certo é que foi diocese de Suevos e Visigodos, e até existe o que seria a Sé Catedral.
Menos dúvidas há sobre a importância do que representam estas muralhas no património histórico tanto da região, como do país. Muralhas que séculos depois serão os templários a cuidar, após a doação do território por D. Afonso Henriques. Isto para que Idanha-a-Velha se transforme, uma defesa em profundidade do território que começava a ser português.
A ordem do templo entra nas ruas da antiga cidade de Romanos, Visigodos e com ocupação muçulmana, e que então estariam vazias, para começarem a construir o castelo medieval que ainda hoje perdura. Em cerca de cinco hectares, há milénios de vivências, que os arqueólogos continuam a investigar.
Os bispos da diocese da Egitânia, mudaram-se para a Guarda, e a cidade decaiu até hoje ser uma pequena aldeia. Idanha-a-Velha ainda assim resistiu e tem muito para contar.