Edificado a finales del siglo XVII por un miembro del linaje Bracho, luego emparentado con los Barreda.
Su aspecto exterior es más sobrio que los demás palacios de la villa.
Un amplio zaguán precede al estragal, en torno al cual se abren las diversas estancias de servicio y punto de arranque de la escalera que asciende al piso principal.
En 1944 fue incorporado a la Red de Paradores Nacionales.