Situado al norte de la basílica de Santa María, sus dependencias se desarrollaron, cualquiera que fuera su configuración, entre dicho templo y la muralla de la ciudad. Constaba de un patio, cuyo muro sur es medianero con Santa María. Alrededor del mismo se situaban, por el norte, la iglesia de San Juan Bautista, de configuración desconocida, aunque cabe pensar, por razones litúrgicas, en un templo de nave única rematado en varios ábsides. Al E. de este edificio, se hallaron, en 1934, restos que podrían ser interpretados como pertenecientes a un edificio cruciforme, que pudo albergar el baptisterio de la catedral, nombrado en los documentos como "del paraíso", por situarse en la parte E. del atrio de la catedral.

Sin embargo, analizando dichos restos en profundidad, también podrían corresponderse con los de una cripta litúrgica, situada bajo el presbiterio o el santuario de la iglesia primitiva de San Juan Bautista, la cual, en consecuencia, tendría unas dimensiones muy parecidas a las del actual edificio. Aunque la única fuente altomedieval que cita la iglesia de  San Juan Bautista es la Crónica de Sampiro, obispo de Astorga, dicho tipo de criptas no son en absoluto desconocidas en el occidente cristiano en épocas anteriores al románico.

Concretamente, en la arquitectura religiosa de los reinos de la Heptarquía de la Inglaterra sajona, encontramos varias, datables entre los siglos VII y VIII plenamente identificables con estos restos, como son las de Hexham y Ripon, ambas datables en el último cuarto del s. VII. Ambas criptas comparten con los restos ovetenses afinidad en disposición, dimensiones, y tipo de fábrica, constituída en todos los casos por sillares tallados y escuadrados, de factura romana.

Si como fruto de una investigación arqueológica rigurosa, pudiera confirmarse la identidad de factura y funcionalidad de las fundaciones reseñadas en comparación con la Ovetense, habría que concluir la presencia, tanto en los territorios ingleses, como en el solar del Reino de Asturias, de tradiciones constructivas comunes, fruto, seguramente, del trabajo de talleres que compartirían modelos constructivos  y técnicas comunes, de origen romano, en el caso de Inglaterra, llegadas con las misiones de Agustín y Teodoro de Canterbury, y en el de los territorios de la Hispania bajo-visigoda, de la mano de iniciativas parecidas, de origen en las sedes episcopales del Noroeste hispánico, o incluso debidas a pedidos de clientes pertenecientes a las élites dirigentes locales, que podemos imaginar en cierto grado de aislamiento, pero jamás estancas ni impermeables a las influencias de los grandes centros de decisión política, y de produción artística y cultural de la época.

Visita virtual al monumento.