Пермоны, как и Бонапарты, были корсиканцами. Панория, однако, происходила из древнего греческого императорского рода Комненов, которые в XVII столетии вместе с несколькими приверженцами укрылись на Корсике.
Отец Лоры, Николя-Шарль Пермон, занимал должность поставщика провианта на Корсику. Затем в течение восьми лет он участвовал в войне за независимость Америки, сколотив себе там неплохое состояние. Позднее Панория вместе с мужем и тремя детьми переехала в Монпелье, где Николя-Шарль получил пост сборщика налогов. Революция полностью разорила семью, и отец Лоры, лишь чудом избежав гильотины, превратился из крупного чиновника в заурядного нотариуса. Спасаясь от преследований, он вынужден был переехать с женой и детьми в Тулузу. Умер Николя-Шарль Пермон, не оставив после себя практически ничего.
Все заботы о семье взял на себя старший брат Лоры Альбер. Юноша некоторое время был личным секретарем у члена Конвента от Корсики Кристофано Саличетти, затем, находясь при главной квартире, принимал участие в Итальянском походе Бонапарта. Он прекрасно играл на арфе, пел, говорил по-итальянски так же хорошо, как и по-французски. При этом он был левшой и отменным фехтовальщиком.
Сестра Лоры Сесилия в 1794 году вышла замуж в Тулузе за некоего месье Жуффра и родила в январе 1796 года мальчика, названного Адольфом. Жуффр был боевым офицером, любимцем генерала Дюгоммье, личным другом таких известных личностей, как генералы Ожеро, Ланн, Бессьер. Женившись, он решил уйти в отставку, чтобы быть все время с семьей. Друзья отговаривали его, убеждая не губить удачно складывавшуюся карьеру. Жуффр все же настоял на своем и в двадцать четыре года стал гражданским лицом. Но семейная жизнь его не была долгой и радостной: его жена, сестра Лоры, женщина кроткая и набожная, внезапно умерла, оставив грудного младенца на руках несчастного мужа.
Лора не была красавицей (например, автор предисловия к ее мемуарам французский историк А. Олливье даже утверждает, что лицо ее было «неприятным»), да и сама Лора признавала это. Однако неоспоримыми ее достоинствами были красивые волосы и зубы, чего, кстати, нельзя было сказать о той же избраннице Наполеона Жозефине. Кроме того, она была одной из самых одаренных умственными способностями женщин при дворе Первого консула, а затем и императора.
Есть версия, что Наполеон до своего увлечения Жозефиной подумывал жениться на матери Лоры, муж которой к тому времени уже умер. Свадьба не состоялась, однако будущий император сохранил привязанность к семейству Пермон и покровительствовал Лоре, исполняя многие ее прихоти, всю жизнь.
Обстоятельства неудачной попытки Наполеона жениться на мадам Пермон описываются Э. Лепеллетье:
«Бонапарт сделал усилие улыбнуться и со смущенным видом сознался, что действительно судьба родных сильно беспокоит его. Затем, склонясь к ручке мадам Пермон, он оставил на ней два горячих поцелуя и сделал признание, что решил сблизиться с ее семьей родственными узами, самая же заветная мечта его — сочетаться самому с нею узами любви, как только окончится срок ее траура по мужу.
Застигнутая врасплох таким неожиданным признанием, мадам Пермон засмеялась ему прямо в лицо.
Бонапарт, казалось, обиделся, и, чтобы загладить неловкость, мадам Пермон поспешила объясниться.
— Мой милый Наполеон, — сказала она, принимая покровительственный, материнский тон, — поговорим об этом серьезно! Вы находитесь в заблуждении относительно моего возраста, и я не сознаюсь вам, сколько мне лет; пусть это останется моим секретом, моей маленькой слабостью. Скажу вам только, что я гожусь в матери не только вам, но и вашему брату, Жозефу. Поэтому оставим шутки, в ваших устах они огорчают меня».
Планы Бонапарта в бытность его простым провинциальным генералом были поистине «наполеоновскими»: он помышлял поженить свою сестру Полину с сыном мадам Пермон. Одновременно он попросил руки Лоры для своего брата Луи. Но мадам Пермон только посмеялась, когда это предложение было ей сделано.