Эстер Люси Стенхоуп родилась 12 марта 1776 года. Она была старшим ребенком Чарльза Стенхоупа, 3-го графа Стенхоупа (Charles Stanhope, 3rd Earl Stanhope), от его первой жены леди Эстер Питт (Hester Pitt). Эстер появилась на свет в Чивнинг-хаузе (Chevening House), поместье своего отца в графстве Кент (Kent), и жила там до начала 1800 года, когда девочку отослали к ее бабушке, Эстер Питт, графине Четэм (Hester Pitt, Countess of Chatham), в Бертон Пинсент (Burton Pynsent). В июле 1780 года, после рождения третьей дочери, умерла ее мать.
В августе 1803-го Эстер стала хозяйкой в доме своего дяди, Уильяма Питта-младшего (William Pitt the Younger), премьер-министра Великобритании (UK). Питт никогда не был женат, но по причине активной социальной жизни ему необходима была хозяйка дома.