"No se casó, no hubo ni mujer ni hijos, no daba fiestas ni viajaba en grandes barcos de paseo. Tampoco le vieron los hoteles de lujo disfrutar de su fortuna, ostentándola. Callado, hermético, impenetrable, este Felipe II de las finanzas cumplía su misión comercial, industrial, salitrera, agrícola como un místico o un condenado, misterioso y absorto”, se publicó en El Mercurio el 3 de diciembre de 1967. “La varillita mágica que el destino puso en sus manos jamás la empleó en los placeres fantásticos que se les ocurren a otros: no tuvo ni un yate ni una Calas, como Onassis, ni un cuerpo de bailarinas como el marqués de Cuevas. Trabajaba, comía, volvía a trabajar, dormía, continuaba trabajando y creando empresas sin respirar."

La anterior descripción podría explicar la empecinada soltería y soledad que acompañó la vida de Baburizza. Aunque no el celibato. Según cuenta Isabel Torres en su libro, "de las múltiples historias que se tejían en torno a este singular hombre, estaban los cuentos de que cada cierto tiempo se invitaba a la casa de Valparaíso a una muchacha distinta cada vez, que subía a los aposentos del dueño de casa, la que posteriormente era generosamente premiada por su visita. Para Baburizza, aparentemente, esto estaba desvinculado de pasión, sólo formaba parte de una necesidad del cuerpo".

Muere el 13 de agosto de 1941 a los 66 años en Los Andes producto de la tisis que ya lo aquejaba hace un tiempo. Dado a que no tuvo familia su gran legado fue repartido entre los lugares que más significaron en su vida.