Первый ребенок в семье родителей Дианы появился в марте 1955 года, это была дочь Сара; в 1957 году родилась Джейн. Два года спустя появился наследник мужского пола Джон, но он умер во младенчестве. Мать погрузилась в глубокую депрессию, но на следующий год вновь забеременела. 1 июля 1961 года в 19 часов 45 минут она родила в своем доме, в Парк-Хаусе, очаровательную девочку, которую и нарекли Дианой. Роды прошли без осложнений; в эти минуты родители, горячо надеявшиеся на то, что родится мальчик, еще не выбрали женского имени. Имя девочке официально было дано только 30 августа 1961 года во время крестин, состоявшихся в церкви Сандрингема; кстати, купель из флорентийского мрамора в этой церкви — дар Эдуарда VII.
Первые годы жизни Дианы прошли в детской на втором этаже Парк-Хауса. Под присмотром своей гувернантки дитя делало первые шажки по великолепному королевскому владению, по землям замка Сандрингем, от которого в определенной зависимости находился и Парк-Хаус. Поместье действительно великолепно: 8094 гектара лесов, парков и садов. Иногда там можно было встретить королеву, совершавшую прогулку верхом; Ее Величество тогда останавливалась, чтобы поболтать с леди Олторп. В 1964 году у Дианы появился младший брат, названный Чарльзом и крещенный в Вестминстерском аббатстве в присутствии королевы.
Семейство Спенсеров ежегодно 5 ноября устраивало большой праздник с фейерверком. Последним удачным праздником стал праздник осенью 1967 года. Родители Дианы, уже находившиеся в плохих отношениях, официально объявили о своем решении расстаться на какое-то время из-за несовместимости характеров. Этот крах супружеской жизни оказал глубокое влияние на девочку, можно сказать, тяжело отразился на ней. Дело было в том, что леди Спенсер влюбилась в другого мужчину (который впоследствии стал ее вторым мужем) и тотчас же покинула и мужа, и детей. Диане было тогда шесть лет, и она была потрясена юридической дуэлью, продолжавшейся несколько долгих месяцев. В декабре 1968 года ее мать официально потребовала развода, обвинив супруга в жестоком обращении. Ее муж в ответ обвинил ее в измене с Питером Шандом Киддом, заявив, что адюльтер имел место с весны 1967 года. В конце концов леди Олторп проиграла процесс, лишилась права воспитывать детей и даже была отвергнута своей матерью, отказывавшейся затем с ней разговаривать на протяжении многих лет. Процесс по делу о разводе выставил на всеобщее обозрение интимную жизнь четы Спенсеров и предоставил прессе сенсационные сведения. Диана, учившаяся тогда в школе в Кингз-Линн, подвергалась жестоким насмешкам соучениц. Один из близких друзей семейства Олторпов вспоминает: «Хотя Диане было всего восемь лет, она приобрела тяжкий опыт испытания страданием, и это оставило в ее душе неизгладимый след Но если крах брака родителей чаще всего угнетает детей, становится для них помехой и ставит в невыгодное положение, то на личность Дианы это повлияло иначе: ее характер окреп, обретя мужество». Диана осталась с отцом, но продолжала поддерживать отношения с матерью. Ежегодно она проводила летние каникулы вместе с ней на живописном маленьком островке Сайл около берегов Шотландии.
Годы учебы Дианы были малоинтересны. После пребывания в Зилфилд-скул, в Кингз-Линн, ее записали в Риджуорт-Холл, закрытую школу для благородных девиц в графстве Норфолк Школьную форму ей купили в магазине «Хэрродз» осенью 1970 года. Диана была очень посредственной ученицей по основным дисциплинам, но преуспевала в музыке, живописи и плавании. В конце 1972 года она потеряла бабушку, старую графиню Спенсер. Во время погребальной службы в королевской часовне Сент-Джеймсского дворца королева-мать, принцесса Маргарет и герцогиня Глостерская подошли к Диане, чтобы ее обнять и поцеловать.