Летом 1729 года Иван Долгоруков познакомился с графиней Натальей Борисовной Шереметевой и впервые влюбился. Надо сказать, что графиня Наталья, дочь известного генерал-фельдмаршала, графа Бориса Петровича Шереметева, верного сподвижника Петра I, была на шесть лет моложе Ивана, хороша собой, скромна, образованна, воспитанна и несказанно влюблена в этого неумного и малообразованного ловеласа. К тому же по своему происхождению графиня была вполне достойной партией для князя Долгорукова. Князь Иван настолько был влюблён, что выбирал, каждую свободную минутку от общения с императором и мчался к ней на коне из долгоруковского имения Горенки в шереметевское Кусково. В конце 1729 года князь Иван с одобрения семьи сделал графине Шереметевой предложение, обручился с ней и стал её женихом.
Встретили новый 1730 год, и тут на Долгоруковых обрушилась большая беда заразился оспой и 19 января умер Пётр II.
Герцогиня Курляндская Анна Иоанновна уже 25 января 1730 года, то есть через шесть дней после смерти Петра II, была приглашена на престол Верховным тайным советом Она прибыла в Санкт-Петербург из Митавы в начале февраля 1730 года Уже 4 марта она издала манифест об упразднении Верховного тайного совета, члены которого, а среди них в первую очередь Долгоруковы, высказывались против её приглашения на престол, составляли «кондиции», уговаривали её их подписать. Еще до коронации её в Успенском соборе Московского Кремля (28 апреля 1730 г.), Анна Иоанновна начала осуществлять гонение на Долгоруковых, и стало ясно, что в первую очередь это коснётся бывшего фаворита.
Перед графиней Натальей Шереметевой встал вопрос выходить ли ей замуж за Ивана Долгорукова при такой мстительной политике императрицы? Её брат, граф Пётр Борисович Шереметев, предрекая тяготы будущего развития событий, уговаривал её отказаться от брака с Иваном, но она, любившая Ивана до самозабвения, до самопожертвования, согласилась на брак, и в первых числах апреля они обвенчались. Буквально через несколько дней после свадьбы, 9 апреля 1730 года, указом императрицы Анны Иоанновны князь Иван Алексеевич Долгоруков вместе со своей семьёй был сослан в свои деревни. На нескольких телегах и каретах, наполненных всякого рода пожитками, Долгоруковы двинулись в путь, но в пути они были задержаны, все пожитки и все ценности были у них конфискованы, а как только они с большими трудностями доехали, наконец, до долгоруковских Касимовских деревень, в июне этого же года им была объявлена воля императрицы — отправляться в ссылку в Берёзов, где недавно освободили место умерший Меншиков и его дочь Мария и куда был направлен также князь Алексей Григорьевич Долгоруков с семьёй.
Долгих девять лет прожили Долгоруковы, Иван и Наталья, в тяжелейших для них условиях, казавшихся ещё тяжелее после жизни свободной и богатой. Особенно тяжело было Наталье Борисовне: вскоре по приезде она забеременела, а муж стал проявлять по отношению к ней свой тяжёлый, капризный характер: он всё время был в угнетённом состоянии и, как говорится, не в духе.
Сначала режим содержания ссыльных был очень строгим. Выходить можно было только в церковь, которую собственноручно срубил Александр Данилович Меншиков, да на поклон к начальству. В 1731 году у них родился сын Михаил, и Наталье Борисовне прибавилось забот о новорожденном ребёнке. Пришлось отбросить благородную гордость и задабривать берёзовского воеводу Бобровского и пристава майора Петрова, которые прониклись к ним жалостью и стали делать ссыльным послабления.
Князь Иван не гнушался обществом местных жителей. Он подружился с офицерами местного полка, с духовенством, с некоторыми из местных обывателей и потихоньку стал приобщаться к прежней разгульной жизни. В частности, он завёл дружбу с тобольским таможенным подьячим Тишиным, с поручиком Овцыным и в компании с ними и с другими из местных находил удовольствие пить горькую. Под пьяную лавочку Иван откровенничал, хвастаясь своей прежней жизнью и, не стесняясь выражений, характеризуя Анну Иоанновну. А Тишин все эти россказни наматывал себе на ус. Считая себя вполне подходящей парой для красавицы-княжны Екатерины, подьячий Тишин, напившись пьяным, стал приставать к ней и в грубой форме заявил, что он хочет, чтобы она стала его сожительницей. Екатерина пожаловалась поручику Овцыну, а тот, недолго думая, избил Тишина. Тишин затаил злобу и написал сибирскому губернатору донос, в котором подробно описал все пьяные высказывания Ивана Алексеевича, особенно относительно императрицы Анны Иоанновны. Получив донос, губернатор послал в Берёзов капитана Сибирского гарнизона Ушакова с секретным предписанием проверить донос Тишина. Местные офицеры и обыватели, перед которыми пьяный князь Иван раскрывал свою душу, подтвердили обоснованность тишинского доноса.