La construcción de este palacio fue ordenada por el Conde del Valle de Salazar en 1681. Dispone de dos plantas, en cuyo exterior destaca la fachada con remate central, escudo y sus gárgolas con figuras zoomórficas. Desde el siglo XIX acoge la sede del Obispado de la Diócesis Nivariense y está declarado Bien de Interés Cultural. En el año 2006 fue arrasado por un incendio que lo llevó a tres años de restauración y reconstrucción. Su capilla es fruto del trabajo de un grupo ecuménico internacional dirigido por Marko Ivan Rupnik: En su mosaico central de estilo bizantino está representado el misterio de Pentecostés.