После восстания декабристов имя Толстого попало в следственные дела, и весной 1826 года он получил предписание вернуться в Россию. Толстой отказался и был уволен со службы, фактически став «невозвращенцем» и потеряв все права на армейский пенсион и дворянские привилегии. Для него начался самый тяжёлый период жизни – лишившись средств к существованию, перестав получать деньги из России, он кормился литературным трудом, но был разборчив: для парижских изданий писал правду о России тогда, когда отношение Европы к нашей стране подверглось резкому охлаждению: Франция не могла простить России Венского мира, лишившего её всех завоеваний Наполеона, и была резко настроена против внешней политики Николая I. С середины 1820-х годов в Париже стали появляться антирусские памфлеты, принижающие не только существующее в России правление, но и её историю и национальные черты. Толстой выступил на защиту престижа своей страны.
В августе 1836 года граф Мещерский передал Толстому вызов в Петербург, полученный от генерала Бенкендорфа, который подал царю доклад «о желательности использования Якова Толстого в сношениях с французскими журналистами». Царь утвердил это решение, приказав послу России во Франции графу Петру Петровичу Палену выплатить Толстому 10 тысяч рублей из посольских средств для того, чтобы расплатиться с многочисленными кредиторами. В ответном письме от 8 ноября 1836 года Пален открыто писал Бенкендорфу о необходимости иметь в Париже «агента с безобидной политической миссией, чтобы втайне обрабатывать местную прессу и заводить с нею связи без огласки, под прикрытием служебных обязанностей. Таким агентом может быть Яков Толстой, который уже двенадцать лет защищает и политические интересы России. Он не покажется французам подозрительным и сможет с успехом бороться с распространяемыми о нас заблуждениями и клеветой».
Сам Толстой прекрасно понимал подлинный смысл своей предстоящей работы. В октябре 1837 года Толстой заступил на свою должность, которую исследователь пушкинского времени Б.Л. Модзалевский охарактеризовал так: «Должность его была загадочная и неопределённая».
Занимаемое им место не относилось к служебным, но он получал чины и ордена. Личное его дело хранилось в Министерстве просвещения, но он числился по особым поручениям в Третьем отделении. Сам он говорил о своей должности как о «единственном месте, не определённом штатами, – для защищения России в журналах и опровержения противных ей статей». Ежегодно он посылал в Петербург депеши, которых в архиве Министерства просвещения не оказалось. Корреспонденция Толстого из Парижа была обнаружена в архиве Третьего отделения уже после 1917 года. Помимо регулярных обзоров европейской прессы и годовых отчётов она включает также рапорты и памятные записки, освещающие его разведывательную деятельность во Франции. Успех деятельности Толстого отметил прибывший в Париж в декабре 1838 года чиновник по особым поручениям Третьего отделения А.А. Сагтынский, ведавший заграничным политическим сыском.
Через свои связи Толстому удавалось предотвращать издание во Франции сочинений, в которых российская действительность подвергалась критике людьми, хорошо знавшими её изнутри. Так, в 1839 году, когда в «Журналь де деба» начали выходить очерки о России одного из потомков рода Демидовых, оказавшегося во Франции, Толстой провёл с автором «разъяснительную беседу», после которой публикации прекратились. В глазах большинства русских, обитавших в Париже, он слыл чудаковатым и хлебосольным эмигрантом, ведущим праздную жизнь на деньги, присылаемые из родового имения. Он завоевал доверие Бакунина и внимательно следил за его связями с польскими и немецкими революционерами, включая молодого Карла Маркса.
В феврале 1848 года, когда во Франции началась революция, о приближении которой Толстой писал с 1844 года, ему пришлось срочно покинуть Париж и перебраться в Брюссель. При обыске в архивах МВД и префектуре Парижа новое революционное правительство обнаружило документы, косвенно свидетельствующие о контактах французской полиции с Третьим отделением, которые шли через Толстого. Однако, когда схлынула первая волна революционной активности, оказалось, что в министерства и парламент Франции пришли многие прежние друзья Якова Толстого. Он снова вернулся в Париж и с неутомимостью развил активную деятельность, почти ежедневно направляя в Россию краткие шифровки.