Se trata de una torre atalaya cilíndrica de mampostería con cuerpo inferior macizo. Tiene un diámetro 5,65 metros y tan sólo se conserva la parte baja, hasta una altura 1,60 metros. La torre se emplaza en una cota a unos 917 metros de altitud y desde ella se domina por el sur la ciudad de Priego, situada a unos dos kilómetros. También se posee conexión visual con los emplazamientos destacados donde se ubican las atalayas de la Sierrecilla de la Trinidad, el Espartal, la Pata de Mahoma, Uclés, Oliva, de las Cabras o de Azores, las tres torres (Alta, Media y Bajera) y El Esparragal. Asimismo, se domina el castillo de Carcabuey.
Es posible que la Torre del Calvario Viejo fuese una de las atalayas construidas por los nazaritas entre 1332 y 1341, cuando la ciudad estuvo bajo la dominación del reino nazarí de Granada antes de la definitiva conquista cristiana. Rafael Carmona Ávila propone como hipótesis que su origen fuera bastante anterior al periodo bajomedieval asociado a la frontera castellano-nazarita y tuviera que ver más bien con la defensa de Madinat Baguh por parte del Estado omeya en el contexto de la fitna de finales del siglo IX y principios de la centuria siguiente, que puso en cuestión el poder del emirato omeya de Córdoba frente a los rebeldes muladíes. De este modo, esta torre, junto con otras cercanas, defendería los accesos por el sur y por el este de la ciudad, priorizando el valle del río Salado (‘wadi Baguh’), auténtico pasillo natural que conectaba la ciudad islámica capital de la cora con Peñas Doblas, que se ha propuesto como base del rebelde Ibn Mastana, y que se encontraba tan sólo 6 kilómetros lineales de distancia, en las estribaciones de la sierra de Albayate.
