La ermita de san Frutos es, realmente, una igleisa románica de capital importancia para entender la expansión del arte románico al sur del río Duero, en el territorio fronterizo de la Extremadura castellana. Comenzó a construirse tras la donación que en 1076 hizo al monasterio de Santo Domingo de Silos el rey Alfonso VI. Anteriores al edificio románico son las tumbas antropomorfas que se abren delante de la iglesia y hasta la cruz del obispo Quesadam levantada tras la pergrinaciónd de 1900. Incluso hay algunos restos reaprovechados más antiguos, como un sillar del ábside que tiene labrada una inscripción funeraria romana romana. En la cueva de San Valentín, cuya bóveda natural se hundió, se conservaban graitos de principios del siglo XI que testimoniaban las peregrinaciones a este lugar sagrado. Este testmonio lo conocemos gracias a la documentación del priorato y gracias él sabemos que la memoria del santo perduró durante la invasión árabe.

La de san Frutos es una iglesia románica de una sola nave y rematada por un ábside semicircular. Toda ella está construida en sillería. Da la sensación que la iglesia original se levantó con premura. Una inscripción conservada ahora en el interior data la construcción en el año 1100 y nos aporta el nombre del arquitecto dom Michael. Fortunio era entonces abad de Silos. San Frutos compite con la Iglesia de El Salvador de Sepúlveda por la primacía del románico al sur del río Duero. La decoración escultórica de la iglesia del priorato, como la de Sepúlveda, tiene un aire muy primitivo. En ella destaca un capitel en el que se representa a san Benito mostrando el libro de su Regla de Vida.

Las dificultades para construir en un sitio inhóspito como el lugar de san Frutos y, posiblemente, la prisa que se dieron los monjes benedictinos para levantar el edificio originaron fallos en el planteamiento que obigaron a instalar hace unas décadas unos tirantes en la nave.

En una reforma todavía de época medieval, se le añadieron dos capillas laterales de la que sólo permanece en pie la del Evangelio, que hoy se emplea como sacristía. Debajo de su retablo se encuentra la famosa piedra sobre la que se pasa para pedir al santo por la curación de una hernia. También se reformó el ábside central, posiblemente en el siglo XIII. En su interior se conserva el retablo barroco con la imagen moderna del santo y los relicarios de sus hermanos, san  Valentín y santa Engracia.

En el exterior del muro sur de la nave se encuentra la lápida de la "Despeñada", una rica mujer que fue "de su marido despeñada" por los crotados del Duratón y milagrosamente salvada por la intercesión de San Frutos.