Fue edificada en el siglo XV y ampliada en el XVI. Debe su nombre a D. Francisco de Borja Barreda, último titular del mayorazgo de esta familia en el siglo XIX.
Consta de dos volúmenes unidos por un patio interior, y fue restaurada en 1981 para ser sede de la "Fundación Santillana", que actualmente la utiliza como centro cultural con importantes exposiciones.