Иван Алексеевич возымел было надежду на облегчение участи всего своего рода. Один из братьев князя Алексея Григорьевича, Сергей, был зятем барона Шафирова, бывшего тогда в силе при дворе. По особенному ходатайству тестя ему дозволили переселиться в свое имение Замоторино в Касимовском уезде, а вслед за тем Шафиров ходатайствовал перед императрицею о допущении своего зятя служить по дипломатической части. Но у рода Долгоруких при дворе было немало врагов, которые боялись, чтоб этот род, поднявшись на прежнюю высоту, не стал вредить им. Такими противниками Долгоруких были: Андрей Иванович Остерман, начальник тайной канцелярии генерал Ушаков и обер-егермейстер Волынский, недавно входивший в силу. Они подействовали на Бирона и внушили ему мысль, что Долгоруким опасно давать свободу и значение. Всех враждебнее к Долгоруким относился Ушаков, и он-то взялся найти путь погубить их окончательно и сделать навсегда безвредными. Это было нетрудно при неосторожности и болтливости Ивана Алексеевича. Уже были на них доносы. В 1737 году последовал донос офицера Муравьева об утайке вещей против описи, произведенной над имуществом ссыльных. Долгорукие, извещалось в доносе, припрятали два патента за подписом императора Петра II и книгу о коронации того же императора. Сообщалось, кроме того, что майор Петров, поставленный над ними приставом, дает им послабление: у них много лишних вещей, они пожертвовали в церковь парчу, они свободно посещают березовских обывателей, и к ним допускают последних. По этому доносу присланный капитан Рагозин произвел новую опись их имущества: над ссыльными усилили караул. Но вскоре за тем приехал в Березов, как будто по делам службы, тобольский подьячий Тишин. Подозревали, не без основания, что это был нарочно подосланный шпион. Тишин подделался к Долгоруким и стал бывать у них в сообществе с другими знакомыми. Ему приглянулась княжна Екатерина, и раз, пьяный, он стал выказывать любовь свою к ней в слишком грубых формах. Екатерина отвернулась от него и сказала о его назойливости другу брата своего, Овцыну. Овцын, согласившись с казачьим атаманом Лихачевым и сыном боярским Кашперовым, отколотили Тишина. Тогда последний, из мщения за свою обиду, послал на Ивана Алексеевича донос о его болтовне; доносил также на майора Петрова и на воеводу Бобровского, что они мирволили Долгоруким. Вслед за тем, в мае 1738 года, приехал в Березов тобольского гарнизона капитан Ушаков, родственник генерала Андрея Ивановича. Ему поручено было стороною разузнать о поведении сосланных Долгоруких, а им самим ласково объявить, что государыня желает улучшить их положение. Ушаков познакомился с березовскими обывателями и узнал многое, что ему было нужно. Он уехал из Березова, а вслед за тем пришел царский указ - отделить Ивана Алексеевича от прочих членов его рода. Его заперли в землянке. Наталия Борисовна выпросила у майора Петрова дозволение приносить мужу и подавать через окно пищу, потому что его стали содержать на казенном хлебе скудно и грубо.