Mientras Billie Holiday lograba el éxito como artista, su vida personal fue bastante turbulenta. Tuvo muchos amoríos a temprana edad, entre los que se incluyen al trompetista, Buck Clayton, el guitarrista Freddie Green y al pianista del Café Society, Sonny White, pero estas relaciones fueron fugaces y terminaron sin mayores complicaciones.

Más adelante, cuando ya era una famosa cantante, empezó a atraer la atención de hombres con menos escrúpulos. El primero fue Jimmy Monroe un proxeneta y apostador, que además de vivir a expensas del dinero que ganaba Billie, muchas veces la golpeaba. Se casaron en agosto de 1941, pero en menos de un año, Monroe fue arrestado por introducir drogas en California y, aunque su esposa pagó su defensa, estuvo preso por un año.

A fines de 1944, estando su marido nuevamente en la cárcel, Billie empezó una relación amorosa con el trompetista Joe Guy, un consumidor de estupefacientes, quien también le sacó mucho dinero para costear su adicción. Aunque la relación no duró tanto tiempo, fue suficiente para que Billie adquiriera su mismo vicio y se convirtiera en una firme, aunque discreta consumidora de drogas.

Luego de actuar en una película llamada "New Orleáns" (1946) junto a Louis Armstrong, Billie Holiday fue arrestada el 19 de mayo de 1947 por posesión de drogas en un hotel de Philadelphia y sentenciada a un año de carel en un reformatorio de mujeres en Alderson, Virginia.

Cuando recobró la libertad celebró su regreso realizando un concierto en el Carnegie Hall, cuyas entradas se agotaron rápidamente. En su encierro no había podido consumir nada, así que estaba limpia de estupefacientes. Lamentablemente, Jimmy Monroe también había cumplido con su condena en la carcel y cuando ella salió él la estaba esperando. Al poco tiempo, la cantante volvió a caer en los mismos malos hábitos de antes.

Tras separarse definitivamente de Monroe, Billie se juntó con el empresario John Levy, quien utilizaba su adicción a las drogas para manipularla y controlarla. Mientras tanto, el FBI la seguía hostigando detrás del escenario y amenazándola con más arrestos. En 1948, se le negó su licencia para cantar, lo que implicó que no pudo cantar más en ningún club neoyorquino que vendiera alcohol, es decir, se le privó de su principal fuente de ingresos y se la obligó a estar en permanente gira.

En 1954 viajó a Europa y se dio cuenta de que no sólo era conocida en los Estados Unidos, sino que en casi todo el mundo. En esa época tenía una nueva pareja, Louis McKay, quien le consiguió muchos conciertos y la mantuvo alejada durante algún tiempo de las drogas, aunque especulaba con su dinero y se quedaba con todas las ganancias de Billie. Se casaron en 1957, el mismo año en de su última gran presentación en el especial "The sound of jazz" de CBS, junto a Lester Young y Coleman Hawkins.

El matrimonio duró poco tiempo, porque se pelearon después de que McKay descubriera que Billie seguía consumiendo estupefacientes a escondidas suyas.

En sus últimos dos años de vida, vivió sola acompañada de su perro en un pequeño departamento de Nueva York, hostigada por las autoridades a raíz de su abuso de drogas y alcohol. La muerte de su querido amigo Lester Young, el 15 de marzo de 1959, le causó un profundo impacto y en su funeral, dijo: "yo seré la próxima".

El 30 mayo colapsó y tuvo que ir de urgencia al hospital, sin embargo, no fue admitida por su problema de drogadicción. Fue derivada a otro centro médico que sí aceptaba pacientes adictos, pero el 11 de junio una enfermera encontró polvo blanco a un costado de su cama y llamó a la policía. Fue arrestada en el mismo hospital y continuaba en calidad de detenida cuando murió el 17 de julio de ese mismo año.