Tras dejar su encierro, Billie Holiday dejó de trabajar como prostituta para empezar a cantar por propinas en pequeños clubes de Harlem. Hizo amistad con el joven saxofonista Kenneth Hollon y juntos empezaron a tocar en diferentes locales de la ciudad. Su madre, en tanto, trabajaba como cocinera en un club llamado Mexico's, al que Billie también solía asistir. Ahí, además de ayudar a su madre, solía cantar mezclándose entre las mesas. Fue en ese momento que decidió cambiar su nombre de Eleonora por Billie.

A principios de los años 30, necesitada de dinero, buscó un trabajo como bailarina en un club de Harlem llamado Pod and Jerry’s Log Cabin. No le fue bien, pero el pianista le ofreció una audición como cantante. El dueño y todos los que se encontraban en el local quedaron impresionados con la capacidad vocal de Billie, quien a pesar de no tener estudios técnicos, poseía una incomparable dicción, fraseo e intensidad dramática. Tenía, además, una elegancia que llamaba la atención. Posteriormente, empezó a usar gardenias blancas en el pelo, su marca personal que surgió por casualidad cuando se quemó el cabello y usó el adorno floral para que tapar el sector estropeado.

En 1933, mientras cantaba en el "Monette Supper Club" en la calle 133 de Harlem, fue vista por John Hammond, un joven de 22 años, hijo de una familia millonaria, dedicado a descubrir y promocionar artistas emergentes que buscaba en clubes de Harlem, donde los asistentes blancos se contaban con los dedos de una sola mano. Según cuenta John Chilton en "Billie's Blues. The Billie Holiday Story", Hammond había ido al club para escuchar a Ethel Waters y quedó tan fascinado con Billie que olvidó a lo que iba. Fue él quien patrocinó la primera grabación de la cantante que se realizó en noviembre de ese mismo año. Hammond reunió a Benny Goodman y otros 9 músicos para grabar "Your Mother's Son in law", pero la edición de esta primera canción no tuvo mayores consecuencias. Al mes siguiente grabaron otro tema: "Riffin' The Scotch" y después de eso Billie Holiday no volvió a entrar a un estudio durante dos años.

A principios de 1935, hizo su debut en el Teatro Apollo y apareció junto a Duke Ellington en una corta película titulada Symphony In Black.