A Torre de Caldaloba (ou castelo de Vilaxoán como aparece citado en antigos documentos), foi construída nos séculos XIII ou XIV. O historiador Xabier Moure, que denunciou hai anos o abandono da fortaleza, sinalaba que «aínda que non é, canto a monumentalidade e arquitectura, a máis chamativa, si o é canto ao valor simbólico duns dos períodos que máis tinta ten verquido na Historia da Galicia medieval».
Foi destruída durante ao Revolución Irmandiña e reconstruída despois por Fernán Ares e Constanza de Castro, xenro e filla do mitificado mariscal Pardo de Cela. «Na torre resistiron os citados Fernán Ares e Constanza de Castro os ataques, a finais do século XV, dos Reis Católicos ata que tiveron que renderse ao podrecer a auga do alxibe», explica Moure, quen apunta que no ano 1646 aparece como propietario o conde de Fuensaldaña e vizconde de Altamira, Álvaro Pérez de Viveiro. No ano 1755 foi vendida a Gabriel María Montenegro, do pazo de Caldaloba, situado a uns poucos metros.
