Un factor importante en la sedentarización de la población y en el nacimiento de las aldeas medievales fueron los asentamientos de pequeñas comunidades monásticas, en torno a los siglos IX y X.
Como sucedió en muchos otros lugares del Alto Ebro, aquí se conservan los restos de pequeños eremitorios excavados en la roca. Estos eremitorios fueron el antecedente de monasterios propios o familiares como el que existió en Rioseco hasta el siglo XII. Eran pequeños templos en torno a los cuales vivían unas pocas familias.
Junto a la orilla del Ebro, excavado en la suave roca arenisca, se emplaza el eremitorio de Argés, uno de los mejores ejemplos de eremitorio rupestre de la provincia de Burgos. Su nombre aparece documentado por primera vez en el siglo XIII.
Una parte de la construcción ha desaparecido por el derrumbe de la frágil roca arenisca. Este templo cuenta de dos naves de desiguales dimensiones rematadas en ábsides curvos y separadas por tres arcos apoyados sobre pilares. Aún se puede apreciar que ambas naves se cubrían con bóvedas de cañón que aparecen divididas en tres tramos por arcos fajones tallados en la propia roca.
La nave principal, de dos tramos, se remata con una cabecera de menor altura formada por un tramo recto cubierto con bóveda de cañón y un ábside más o menos semicircular cubierto con una bóveda de horno apuntada que arranca al nivel del suelo. Esta capilla se abre a la nave por medio de un arco rebajado que está cobijado por otro mayor de medio punto.
En el centro de la nave encontramos una fosa rectangular que pudo hacer las funciones de pila bautismal. Junto a la puerta meriodional, a los pies de la iglesia, existe un espacio sobrelevado con respecto al suelo que era una capilla funeraria con dos tumbas antropomorfas. En la nave del evangelio aparece una especie de zócalo o mesa de altar.