Киносъемки оказались сложными. Кьюкор был уволен и заменен Виктором Флемингом, с которым Ли часто ссорилась. Она и Оливия де Хэвилленд (Мелани Гамильтон) тайно встречались с Кьюкором по ночам и на выходных, чтобы посоветоваться по поводу своих ролей. Вивьен подружилась с Кларком Гейблом (Ретт Батлер) и его женой Кэрол Ломбард, но часто ссорилась с Лесли Говардом (Эшли Уилкс), с которым должна была сыграть несколько эмоциональных эпизодов. Ее раздражала необходимость иногда работать 7 дней в неделю, часто до поздней ночи, к тому же она скучала по Оливье, который работал тогда в Нью-Йорке. Она писала Ли Холману: «Я не выношу Голливуд… Я никогда к этому не привыкну — как я ненавижу сниматься в кино».
В 2006 г. одна из актрис фильма опровергла заявления о маниакальном поведении Вивьен Ли во время съемок «Унесенных ветром», опубликованные в биографии Лоуренса Оливье. Она встала на защиту Ли, говоря: «Вивьен была безукоризненно профессиональна, безукоризненно дисциплинированна на съемках. У нее были две огромные задачи: делать все, что в ее силах в работе над чрезвычайно сложной ролью, и находиться в разлуке с Ларри (Оливье), который был в Нью-Йорке».
Из десяти премий «Оскар», выигранных «Унесенными ветром», была и премия за лучшую женскую роль, которую получила Вивьен Ли. Кроме того, она получила награду как лучшая актриса от «New York Film Critics Circle».
В феврале 1940 г. Джилл Эсмонд согласилась дать Оливье развод, а Холман дал согласие на развод с Ли. Они сохраняли дружеские отношения на протяжении всей жизни. Сын Оливье Эсмонд остался с матерью, а дочь Вивьен, Сюзанна, осталась с отцом. 30 августа Оливье и Вивьен поженились в Санта-Барбаре, штат Калифорния. Единственными свидетелями на церемонии были Кэтрин Хепберн и Гарсон Канин.
В 1941 г. Ли и Оливье вместе сыграли в фильме «Леди Гамильтон», где Лоуренс исполнил роль Нельсона, а Вивьен — Эммы Гамильтон. Этот фильм был не только одобрен критиками и популярен среди зрителей, но стал любимым фильмом самой актрисы. Фильм пользовался огромным успехом не только в США и Великобритании, но и в СССР. Уинстон Черчилль организовал закрытый показ, на котором присутствовал Франклин Д. Рузвельт, и в конце показа он обратился к пришедшим, сказав: «Джентльмены, мне показалось, что этот фильм заинтересует вас, он показывает великие события, подобные тем, в которых вы только что принимали участие». Оливье и Ли стали любимцами Черчилля. До конца своей жизни он приглашал их на званые обеды, считал Вивьен примером для подражания.
Вивьен и Лоуренс поставили пьесу «Ромео и Джульетта» для Бродвея. Критики не оценили постановку должным образом. Брукс Аткинсон из «Нью-Йорк тайме» писал: «Несмотря на молодость и красоту мисс Ли и мистера Оливье, это вряд ли можно назвать актерской игрой». Один из журналистов написал про Ли, что ее голос похож на голос продавщицы. Оливье и Вивьен вложили большую часть накопленных ими средств в эту постановку и очень тяжело переживали неудачу.
Они вернулась в Англию. В 1943 г. у Ли началось турне по Северной Африке, она выступала вплоть до того момента, когда у нее начался кашель и лихорадка. В 1944 г. ей поставили диагноз — туберкулез в левом легком. Однако после того как Вивьен провела несколько недель в больнице, ей показалось, что болезнь оставила ее. Весной 1945 г. она сыграла в фильме «Цезарь и Клеопатра». В это же время выяснилось, что Вивьен ждет ребенка. К несчастью, у нее произошел выкидыш. Она впала в глубокую депрессию. Возобновились эмоциональные срывы, после которых Вивьен ничего не помнила, была сильно смущена и раскаивалась.
В 1947 г. Оливье был посвящен в рыцари, и Вивьен сопровождала его в Букингемский дворец на церемонию. Она стала леди Оливье и сохранила этот титул даже после развода.
К 1948 г. Оливье был в совете директоров театра Олд-Вик и вместе с Ли отправился в турне по Австралии и Новой Зеландии. Турне имело огромный успех, несмотря на то, что участники труппы позднее вспоминали скандалы, которые случались, например, в Крайстчерче, когда Ли отказалась выходить на сцену.
Успех турне приободрил пару, и они впервые появились вместе в Вест-Энде — западной части Лондона, где сосредоточена театральная и концертная жизнь. Ли добилась роли Бланш Дюбуа в Вест-Энде, в постановке по пьесе Теннесси Уильямса «Трамвай «Желание», и была утверждена после того, как автор пьесы и продюсер увидели ее игру в других спектаклях. Пьеса Теннесси Уильямса «Трамвай «Желание» — очень сложное драматическое произведение. По поводу постановки в прессе велись жаркие споры и дискуссии. Игру Ли много критиковали. Говорили, что она совершенно не подходит для этой роли. Оливье и Ли были огорчены этими рецензиями. Но пьеса имела коммерческий успех.