К сожалению, тобольский самоучка не смог овладеть искусством составлять точные карты на математической основе с использованием астрономических инструментов. Поэтому при Петре Первом его картография оказалась уже "вчерашним днем". Отсюда скептические отзывы о нем некоторых современников, например, уже упоминавшегося выше Табберта (Страленберга). В своей книге 1730 года он так описал свою встречу с Ремезовым: "…я встретил в Тобольске старого художника, который сделал отдельные карты всех провинций Сибири и смежных с ними земель; но он был так скрытен и недоверчив, что дал мне разрешение только посмотреть на его карты и я смог убедиться, что он не был географом, а только художником, который, однако, по-своему изображал города, землицы и реки".
Биограф шведского географа М.Г. Новлянская, комментируя это высказывание, справедливо замечает, что чертежи Ремезова "не могли удовлетворить Страленберга с точки зрения метода и техники своего исполнения, как не имеющие ни географической сетки, ни точных масштабов, ни научной математической основы". Впрочем, это не помешало тому же Страленбергу воспользоваться богатейшими сведениями по географии Сибири, которыми располагал Семен Ремезов.
Восхищаясь обилием географической информации в трудах Ремезова, необходимо всегда помнить, что в его географических чертежах попадаются и ошибки. Одни из них появились по вине малосведущих информаторов "чертещика" Ремезова, другие — из-за того, что чертежи Семена Ульяновича составлялись без соблюдения правильных пропорций.
Наследник допетровских традиций, Ремезов дожил до тех пор, когда развернулись интенсивные работы ученых-геодезистов по составлению первых точных карт Сибири. И тогда невольно стал угасать интерес к его географическим чертежам. До 1732 года они хранились в доме наследников Семена Ульяновича и ими никто не интересовался.
В 1732 году в Тобольск был сослан Петр Мирович, воспитанник петербургской академической гимназии. В 1728 году Петр Мирович состоял личным секретарем цесаревны Елизаветы Петровны, но потом был уличен в поддержании тайной связи со своим отцом, который еще в 1709 году вместе с Мазепой бежал за границу. Оказавшись в ссылке в Тобольске, Мирович познакомился с наследниками Ремезова и у них сумел сделать ряд ценных приобретений, в частности, достать некоторые из его картографических произведений.
В 1764 году за попытку освободить из заключения содержащегося в Шлиссельбургской крепости претендента па русский престол Ивана Антоновича был казнен племянник Петра Мировича — Василий. И именно в том же году в личную библиотеку Екатерины II попадает уникальная "Служебная чертежная книга Сибири", а в библиотеку президента Российской академии княгини Е.А. Воронцовой-Дашковой — "Хорографическая чертежная книга". Видимо, оба атласа были конфискованы у Мировичей.
В течение многих десятилетий эти атласы были недоступны для исследователей. Поэтому в конце XVIII — начале XIX века в ученом мире весьма редко вспоминали имя Ремезова.
Вновь его имя всплыло в науке в середине XIX века, когда стало известно, что в московском Румянцевском музее нашлась "Чертежная книга 1701 г." Семена Ремезова. Первое краткое ее описание дал известный археограф А.X. Востоков в 1842 году. Книгой заинтересовался выдающийся географ, исследователь Сибири Александр Миддендорф. Уже в 1851 году он дал ей весьма высокую оценку. Миддендорф писал: "Точность, с какою Ремезов положил на бумагу населеннейшую окружность Тобольска и в том числе даже многие рукава реки Оби, тщательность, с какою показаны у него поселения по Енисею, его изображение Амурского края и тогдашнего этнографического положения Сибири — все это дает его атласу более значения, чем какой-нибудь археографической редкости. Скажем больше: из него, как и некоторых других старинных трудов этого рода, можно почерпнуть кое-что для улучшения даже новейших карт России". К трудам Ремезова часто обращался выдающийся русский исследователь Азии Г.Н. Потанин. Его перу принадлежит специальная статья, посвященная атласу 1701 года, напечатанная в 1883 году в "Журнале министерства народного просвещения". А за год до выхода этой статьи Археографическая комиссия фотолитографическим методом в красках впервые опубликовала всю "Чертежную книгу". Незадолго до этого для Петербургской академии наук с подлинника была снята цветная рукописная копия. Она хранится теперь в Библиотеке Академии наук СССР в Ленинграде.