El Torreón de Lozoya es una robusta y alta casa fortaleza de carácter defensivo construida en el S. XIV.
La construcción medieval perteneció a la familia de los Cuéllar, durante los siglos XV y XVI sufre grandes transformaciones, que con la compra por D. Francisco de Eraso, transforma la edificación defensiva en un palacio renacentista. Fue en el siglo XVII cuando pasó a la familia Lozoya de la que toma su actual nombre.
Hoy es empleada como sala de exposiciones gestionada por la Fundación Caja Segovia.