Родителей великого князя обеспокоил этот роман, и в 1873 году по настоянию отца Николай Константинович был отправлен в поход российских войск на Хиву.
Великий князь, имевший к тому времени уже звание полковника, в этом походе получил боевое крещение, попав во главе своего отряда под артиллерийский огонь, и заслужил награду за личное мужество в Хивинском походе. Николай слал Фанни тревожные письма из Средней Азии:
Средняя Азия захватила воображение великого князя, и, вернувшись, он стал принимать активное участие в работе Русского географического общества.
Через некоторое время Николай отправился путешествовать в Европу, теперь в компании Фанни Лир. Увидев на вилле Боргезе скульптурный портрет младшей сестры Наполеона Полины Боргезе в виде обнаженной Венеры, Николай заказал точную копию скульптуры — но с изображением его возлюбленной. Вернулись они в Россию тоже вместе.
И тут грянул гром.
В апреле 1874 года с оклада иконы, которой когда-то император Николай I благословил брак родителей Николая Константиновича и которая хранилась в Мраморном дворце, пропали три бриллианта. Полицейское расследование привело к адъютанту великого князя, а тот сообщил, что отнес в ломбард драгоценности по указанию Николая.
К секретному расследованию подключился сам император Александр II, а Николая Константиновича три часа допрашивал шеф жандармов граф Шувалов. Присутствовавший при этом отец Николая записал позднее в дневнике: «Никакого раскаяния, никакого сознания, кроме, когда уже отрицание невозможно, и то пришлось вытаскивать жилу за жилой. Ожесточение и ни одной слезы. Заклинали всем, что у него осталось святым, облегчить предстоящую ему участь чистосердечным раскаянием и сознанием! Ничего не помогло!»
Расследование пришло к выводу, что Николай Константинович похитил бриллианты, чтобы купить подарки своей американской любовнице Фанни Лир. На семейном совете рассматривали варианты наказания, включавшие каторгу, отдачу в солдаты и публичный суд, но сошлись на том, чтобы сохранить дело в тайне. Великого князя Николая решили публично объявить сумасшедшим, его наследство передать младшим братьям, лишить его званий и наград и выслать из Петербурга, а само его имя запрещалось отныне упоминать в связи с императорским домом.
На следующий день американский посланник М. Джуэлл послал главе полицейского департамента Санкт-Петербурга генералу Трепову ноту:
Генерал Трепов ответил: «Миссис Блэкфорд со всей должной заботой и вниманием переведена в место, где не будет недостатка ни в чем и где будет пребывать в добром здравии и наилучшем расположении духа».
Фанни Лир была выдворена из России с запретом на возвращение и вскоре опубликовала во Франции мемуары, в которые включила свою интимную переписку с великим князем. Несмотря на попытки российской дипломатии предотвратить распространение этой книги, она вскоре была переиздана в Бельгии и широко разошлась в Европе. На русском языке мемуары Фанни Лир появились лишь в 1917 году в журнале «Аргус». В своих воспоминаниях Фанни недоумевала, почему Романовы не замяли это «семейное дело», а отнеслись к нему так серьезно и совсем не пожалели Николая. Она предполагала, что «Николу» держали в смирительной рубашке, насильно поили лекарствами и даже били.