В 1817 г. Толстой входит в кружок молодых литераторов, получивший название «Зеленая лампа». Там Толстой знакомится с Пушкиным, Глинкой, Дельвигом, Чаадаевым, Шаховским и многими другими известными личностями. В 1821 г. вышла первая книга Якова Толстого «Мое праздное время», в которую вошло 28 стихотворений. Вместо распавшейся «Зеленой лампы» в Петербурге стали появляться тайные общества, куда входили офицеры и молодые чиновники — предшественники декабристских организаций. В одно из них — «Союз Благодействия» — вступил и Яков Толстой.
Толстой продолжал служить и посещать собрания общества до апреля 1823 г., когда по состоянию здоровья испросил у начальства годичный отпуск для лечения больной ноги и уехал в Париж. Толстой стал вести с 1824 г. в академическом издании «Ревю энциклопедии» постоянную колонку, посвященную русской литературе и искусству. По меткому выражению П. Вяземского,
Декабрьские события 1825 г. не могли не коснуться Якова Толстого. Его имя попало в следственные бумаги в списках членов тайных обществ. И весной 1826 г. он получил предписание вернуться в Россию. Толстой отказался и был уволен со службы в конце 1826 г., потеряв все права на армейскую пенсию и дворянские привилегии. Для него начался самый тяжелый период его жизни. Лишенный средств к существованию, перестав получать деньги из России, он жил литературным трудом.
С середины 1820-х гг. в Париже стали публиковаться антирусские памфлеты, принижавшие не только существовавшее в России правление, но и ее историю, и национальные черты. Толстой неоднократно выступал на страницах французской печати в защиту престижа своего Отечества, благородства русского воина.
Уже в 1827 г. он вновь получил возможность печатать свои статьи в либеральном «Московском телеграфе». Но только в 1833 г. полуголодная жизнь Толстого изменилась к лучшему. Толчком к переменам послужило появление в Париже 25-летнего князя Элима Петровича Мещерского, который был направлен на должность корреспондента Министерства народного просвещения. Круг его служебных обязанностей, помимо изучения системы образования и общего состояния наук в Европе, включал в себя также анализ местной политической жизни и оценку состояния прессы. Его донесения направлялись не только министру народного просвещения С.С. Уварову, но и главному начальнику III отделения Собственной Е.И.В. канцелерии А.Х. Бенкендорфу. Для своей работы Мещерский привлек Толстою, который был тогда, вероятно, лучшим российским экспертом по Франции.
В 1836 г. Бенкендорф подал доклад царю
Сам Толстой прекрасно понимал подлинный смысл своей предстоящей работы и сформулировал свои задачи в Записке, отправленной в Петербург. В частности, Толстой предложил план подкупа наиболее влиятельных французских изданий того време-ни — «Газетг де Франс», «Котидьенн», «Пресс», «Франс», «Кроник де Пари» — для обеспечения в них русофильского направления. Кроме этого, он предлагал учредить в Париже на подставное лицо издание, которое было бы негласным рупором русской политики. По его подсчетам, расходы на его создание в начальный период не превышали бы 50 тысяч франков, а затем оно могло бы стать самоокупаемым, располагая эксклюзивными материалами из русской жизни. Кроме этого Толстой предлагал послать корреспондента этого издания в Варшаву для проведения операций содействия политике Российской империи в Польше. По-видимому, идеи Толстого встретили одобрение в Петербурге, куда он прибыл после долгих лет отсутствия в январе 1837 г.
После продолжительной беседы с А.Х. Бенкендорфом шеф III отделения решил вопрос с Уваровым о принятии на службу в Министерство народного просвещения парижским корреспондентом Толстого вместо Мещерского. Было определено, что жалованье Толстого в Париже составит 3800 рублей в год, которые будут переводиться из III отделения через Министерство просвещения.
В октябре 1837 г. Толстой вернулся в Париж и приступил к исполнению своих обязанностей.
Корреспонденция Толстого из Парижа была обнаружена в архиве III отделения уже после 1917 г. Помимо регулярных обзоров европейской прессы и годовых отчетов она включает также рапорты и памятные записки, освещающие его разведывательную деятельность во Франции.