Gran parte de las obras, así como los muebles, la loza y los tapices, fueron traídas de Francia a fines de los años 20 y, contrario a lo que se pudiera pensar, no estaban destinados a la ostentación social, sino que a adornar las salas de una residencia que raras veces recibía invitados.

Tres años después de la muerte del empresario croata en 1941, la casa fue vendida por su sobrino, Juan Baburizza, a la Municipalidad que decidió transformarla en Museo de Bellas Artes y albergar en ella, entre otras cosas, la valiosa colección de pinturas que el inmigrante le había heredado al puerto.

A comienzos de los setenta el Palacio comenzó a requerir las primeras restauraciones que fueron financiadas por el municipio para poder declarar el inmueble Monumento Nacional en 1979. Pero esta primera intervención iba a ser también la última por muchos años. Aunque después de la primera restauración se ha vuelto a mantener por partes la mansión, la falta de fondos comenzó a boicotear un continuo cuidado, a acelerar el deterioro y obligó su cierre en 1997.

Tuvo que llegar el Siglo XX y esperar la creación del Centro de Conservación, Restauración y Estudios Artísticos (CREA) para que reviva la esperanza de recuperar el abandonado Palacio. Crea junto a la Compagnia Italiana Di Conservazione son los encargados de llevar a cabo el proyecto de la recuperación de la casa de Baburizza. El arquitecto chileno a cargo de esta tarea es Cristián Undurraga. Su oficina junto a los arquitectos italianos tienen la misión de recuperar este importante patrimonio.