哈乐黛说,她在20世纪40年代初开始使用硬性毒品。她曾在1941年8月25日与长号手吉米-门罗结婚。当她还与门罗结婚时,她与小号手乔-盖伊开始了浪漫的关系,乔-盖伊也是她的毒贩。她以他妻子的身份与他同居(称为普通法妻子),并于1947年与门罗离婚。她还与盖伊分居。1947年她因持有毒品被捕并被定罪后,在她的余生中,她不被允许在纽约的俱乐部工作。她唯一一次能够在1948年在乌木俱乐部唱歌,在那里她得到了约翰-李维的许可。
在20世纪50年代,哈乐黛的健康状况变得很糟糕,因为她饮酒、吸毒和与施暴男人的关系。她的声音变得粗糙,但有些人说她的歌声变得更有感情。
1952年3月28日,哈乐黛嫁给了路易斯-麦凯,一个为黑手党工作的男人。麦凯,像她生活中的大多数男人一样,有虐待行为,但他确实试图让她停止使用毒品。他们后来分开了。
1956年11月10日,她在卡内基音乐厅的大观众面前举行了两场音乐会。
1954年,Holiday首次与Buddy DeFranco和Red Norvo进行欧洲巡演。当她回到欧洲时,几乎五年后,她上了伦敦格拉纳达电视台的《切尔西九点》节目。这是她最后一次上电视的机会之一。她的最后一次录音是在1959年为米高梅公司录制的,与雷-埃利斯和他的乐团合作,他们还曾在1958年哥伦比亚公司的Lady in Satin专辑中为她伴奏。米高梅的录音在哈乐黛死后被发行在一张名为《最后的录音》的专辑中。
哈乐黛的自传《Lady Sings the Blues》于1956年出版。该书由威廉-杜夫蒂(William Dufty)代笔,他是《纽约邮报》的作家和编辑,与哈乐黛的密友梅莉-杜夫蒂(Maely Dufty)结婚。他在哈乐黛的公寓里与她交谈,并利用先前的采访者,很快就写出了这本书。他想让哈乐黛以自己的方式讲述她的故事。
哈乐黛没有自己的孩子,但有两个教子:Leonard Feather的女儿、歌手Billie Lorraine Feather,以及William Dufty的儿子Bevan Dufty。