Лори Ли родился в 1914 году в семье Реджинальда Джозефа Ли (англ. Reginald Joseph Lee, 1877—1947) и Энни Эмили Ли (англ. Annie Emily Lee, 1879—1950). В 1917 году Энни с детьми переехала в деревушку Слэд (англ. Slad). Их отец остался работать в Лондоне и в семью больше никогда не вернулся. Лори посещал местную школу, и учителя отзывались о нём, как о мальчике с очень живым воображением. Однако обучение его постоянно прерывалась приступами болезни легких: частых бронхитов и пневмонии.
В возрасте 16 лет Ли оставил школу и поступил на службу в аудиторскую контору «Рэндл и Пайн» (англ. Randall and Payne). Работа ему была не по душе и в 1934 году он решил отправиться в Лондон. По пути в Лондон он подрабатывал уличными концертами игры на скрипке. Обосновался в южном пригороде Лондона Патни (англ. Putney), где устроился подручным каменщика.