Billie Holiday entró desde muy joven en contacto con la marihuana, el alcohol y posteriormente, su primer esposo Jimmy Monroe la introdujo en el opio y la heroína. Pero la verdad es que Billie no era una excepción en la escena de jazz, ya que la mayoría de los músicos de entonces se drogaban y bebían en demasía. Esto se debía, en general, por la vida poco estable que llevaban y porque después de cada presentación eran pagados con efectivo, dinero que generalmente terminaban gastando en el mismo bar o club nocturno a los que asistían muchos traficantes de drogas.

Resulta extraño, entonces, que entre tantos consumidores de estupefacientes, la policía estuviese siempre hostigando a Billie Holiday, como si ella hubiese sido la única gran consumidora.
Según Julia Blackburn, una periodista del diario británico "The Guardian" que ha hecho muchas investigaciones sobre la vida de la cantante estadounidense, dos agentes involucrados en su captura dijeron que la principal razón fue que ella era una "cliente" muy atractiva y su arresto le daría al departamento de policía la publicidad necesaria.

Al parecer las drogas no habría sido el motivo por el que Billie Holiday fue tan perseguida por el FBI, sino su insistencia en cantar "Strange fruit", canción que hablaba sobre el linchamiento de negros en el sur y que tenía una abierta postura antirracista.
A pesar de las tragedias, según Blackburn, la Holiday nunca cedió a la autocompasión y detestaba la imagen llorona construida en torno a ella. Hasta el fin actuó con dignidad conservando el respeto de sus pares.