Castillo románico construido en el siglo XIII, en lo alto de un cerro bordeando el río Ebro, es parte de la línea de defensa de Navarra. Emplazamiento estratégico que permite divisar las tierras de la Sonsierra y de la Rioja Alta. Para acceder al castillo en coche debemos llegar hasta escasos metros de la ermita y desde esta discurre un sendero protegido por una barandilla de madera para facilitar el ascenso por su fuerte rampa.
Es de planta heptagonal, reforzado con torres redondas en los esquinas y levantado en piedra de sillería. La torre del homenaje es de planta rectangular que en la parte baja se remata con un ábside en hemiciclo que al exterior configura un gran cubo redondo. La puerta principal de la fortaleza está flanqueada por dos torres huecas con elementos de defensa. Podemos suponer que en el patio interior de la fortaleza existían construcciones complementarias y de abastecimiento para la vida ordinaria de la guarnición.
En 1367 aparece citado por primera vez, cuando Enrique de Trastámara pactaba con Carlos II de Navarra en Santa Cruz de Campezo que no debía dejar pasar por su territorio a Pedro I el Cruel ni al Príncipe Negro. A cambio Enrique entregaba al rey navarro varios castillos, entre ellos éste, el de La Guardia, el de San Vicente y el de Buradón.
En 1389 pertenecía a los Manrique. En el testamento de Pedro Manrique de Lara de 1440, dejaba a su hijo Diego Martín Manrique (primer conde de Treviño) la tenencia de los castillos de Davalillo y Bilibio y a la muerte de éste en 1458, pasarían a su segundo hijo también llamado Diego.
La tenencia del castillo estuvo vinculada (aunque era propiedad real) a los Manrique, duques de Nájera, hasta al menos 1656, cuando murió Francisco María Monserrat, octavo duque de Nájera, pero desde 1465 los poblados de Davalillo y San Asensio fueron comprados por María Enríquez, de la familia Velasco, encontrándose estos enfrentados con los Manrique, lo que provocó disputas que como consecuencia llevaron al movimiento de población de Davalillo a San Asensio hasta la completa despoblación del primero.