El primer asentamiento, que ocupaba la cima del cerro conocido como El Castillo, fue un castro prerromano. También estuvo habitado en época romana, quedando como testimonio dos fragmentos de
estelas. En la época del emperador Diocleciano fueron martirizadas en él las santas Centola y Elena, cuyas reliquias se encuentran hoy en el altar mayor de la catedral de Burgos. Un pequeño monumento
exento cubre una roca sobre la que, según la tradición, fueron decapitadas las santas. Cuando se pasa un paño húmedo sobre dicha roca, éste sale impregnado de un color rojizo, que la creencia popular
atribuye a la sangre de las mártires.
La ermita actual, con la advocación de las santas, fue erigida durante la repoblación llevada a cabo por Fernando "El Negro", abuelo del conde Fernán González.
De aquella época subsiste la lápida fundacional del templo con el siguiente letrero:
FRELENANDVS ET GVTINA (cruz patada, alfa y omega) ERA DCCCXX
El ara original se conserva en el Museo Arqueológico de Burgos.
Abandonado este primitivo poblamiento, surgió un nuevo asentamiento algo más abajo, Siero, habitado hasta principios de siglo pasado (sus últimos habitantes fueron Daniel y Jerónimo, que bajaron a vivir a Valdelateja en 1.914), convertido hoy en pueblo fantasma, en el que se encuentra todavía el cementerio y las ruinas de una iglesia de estilo gótico.
El pueblo actual, Valdelateja, tiene orígenes medievales, como así lo atestiguan algunos restos hallados en tono a la iglesia actual, dedicada a Santa Eulalia. Ésta, en origen una pequeña ermita, fue ampliada a principios del S. XX con la piedra de la antigua iglesia de Siero, bajada por los lugareños: la actual espadaña, la puerta de entrada, etc. En su interior se encuentran algunas imágenes góticas que también fueron de Siero, en especial las de las santas Centola y Elena y la de Santa Lucía, esculturas de bulto, realizadas en madera de nogal, policromadas.
En enero de 2023, la TV Castilla y León, emitió un documental sobre Valdelateja y Orbaneja, al que puedes acceder desde el siguiente enlace: https://www.cyltv.es/videoSH/ef48161d-6047-46b5-966e-c7993e8e2de0/Escapate-de-viaje-T5E7-Orbaneja-del-Castillo-y-Valdelateja