Судьба этого графа была удручающе несчастной и легла тяжкой виной на совесть его отца. О чем думал сын Толстого, когда он женился на необразованной и даже попросту неграмотной цыганке, сказать трудно. Возможно, он вспомнил о поступке своего родного дяди, старшего брата Льва Николаевича – Сергея Николаевича Толстого, который прожил жизнь с выкупленной им из табора цыганкой Марией Михайловной Шишкиной, вступив с ней в законный брак уже после рождения внебрачных детей. Но Сергей Николаевич был не бедным помещиком, а Лев Львович после разрыва с первой семьей оказался в положении нищего. Никого в Европе не интересовали его скульптурный, тем более литературный таланты. Редкий заработок приносили только его воспоминания об отце, публиковавшиеся в русских эмигрантских и французских газетах.
С большим трудом осенью 1921 года ему удалось устроиться в Германии почтовым работником на железной дороге, но это была настолько тяжелая и утомительная работа, что он вскоре ее бросил и вернулся в Париж. Жизнь с Сольской по понятным причинам не сложилась – они были из разных миров. Лев Львович бросает свою вторую семью, оставляя сына Ивана на произвол судьбы.
Марианна Сольская очень болезненно восприняла этот разрыв. Она писала Льву Львовичу отчаянные письма, наполненные орфографическими ошибками («интирисуешься», «предилила» и т. и.), умоляя его хоть как-то помочь ей и Ивану. Работая сестрой милосердия в Ницце, она не могла уделять достаточного времени воспитанию сына. Фактически он воспитывался своей бабушкой Ольгой Петровной Сольской, от исполнения романсов которой («Пара гнедых», «Нищая», «Тебя ль забыть» и другие) до революции сходили с ума все ценители цыганского пения.
Лев Львович писал своей бывшей жене:
«Я не могу больше выносить твоих оскорблений и скандалов, проживать твои деньги и не порвать с тобой окончательно…»
«Я уезжаю совсем. Пожалуйста, не ищи меня и не старайся вернуть. Ничего не изменится, и будут только лишние сцены…»
Сразу после ухода Льва Львовича Марианна Сольская искала защиты у его старшей сестры Татьяны Львовны, которая еще жила в Советской России. В двух письмах к ней она жаловалось на жестокое равнодушие ее брата к судьбе Вани и излагала свой «проект» возвращения с ним в Россию под крыло живущих там Толстых. Но под самими Толстыми в России горела земля. По делу «Тактического центра» дважды была арестована и больше года провела в лагере Александра Львовна (Саша). В 1928 году она была вынуждена покинуть Россию. В 1925 году со своей двадцатилетней дочерью Таней уехала за границу сама Татьяна Львовна Сухотина-Толстая.
Выросший без надзора отца Иван Толстой стал мелким воришкой. Он был задержан полицией и подлежал суду, несмотря на свое несовершеннолетие. Европейские газеты кричали о том, что внук великого Толстого ворует вещи и драгоценности на пляжах Ниццы. Лев Львович ничего не сделал для спасения своего сына. Зато в письме к сыну Никите в Швецию он всерьез обсуждал вопрос об отправке Ивана в Россию, чтобы поместить его там в детскую колонию макаренковского типа. «Может быть, еще возможно сделать из него человека. Он умный и жалкий», – писал он.
Гораздо большее участие в судьбе Ивана приняла старшая сестра Льва Львовича Татьяна Львовна.
23 сентября 1937 года она писала брату Сергею в Россию: «В нашей семье неприятность: не знаю, писали ли газеты в СССР, а здесь вся Европа протрубила, что сын Толстого оказался вором! Это сын Лёвы от второго брака. Он женился, разведясь с Дорой, на такой Сольской, у которой мать цыганка. Родили они сына Ивана, которого бросили на произвол судьбы, и он с 10-летнего возраста приучился на “plage” красть. Был в исправительной школе, но бежал и опять крал. Теперь ему 17 лет, и он опять попался. В Париже русская колония приняла в нем участие, хотят поместить его в какое-нибудь техническое училище и вообще им заняться. Мы с Таней (дочерью
Сколько от Лёвы приходилось краснеть! И в последний ли раз!»
О судьбе Ивана Толстого как о сенсации писали в СССР, делая акцент на состоянии русской эмиграции в целом. В ноябре 1937 года в «Комсомольской правде» вышел фельетон в рубрике «Исповедь молодого человека».
Помощь юноше пришла не от отца, а от русской диаспоры. Писатель-эмигрант Иван Наживин в воспоминаниях утверждал, что инициатором помощи был он. Так или иначе, Иван был передан французскими властями под опеку Центрального комитета по обеспечению высшего образования русскому юношеству за границей, который возглавлял журналист и общественный деятель Михаил Михайлович Федоров. Русские эмигранты во Франции и Америке собрали по подписке шесть тысяч франков. Внук Толстого закончил французскую школу радио и электричества и был принят добровольцем на французский военный флот. Дальнейшая его судьба неизвестна, но вероятнее всего он погиб во время Второй мировой войны. Также ничего не известно о судьбе Сольской…
Валерия Абросимова пишет, что «за всё время публичного обсуждения ситуации, в которой оказался внук Толстого, никто не вспомнил о его отце…»