Название своё Рымарская получила в 1804 году вместе с другими старыми улицами города и считалась одной из самых замечательных улиц города. А дело в том, что харьковский губернатор Иван Иванович Бахтин обратил внимание на тот факт, что улицы в Харькове хотя и имеют наименования, но большинству людей не знакомы, не могут ориентироваться в них и приезжие в город по служебной надобности чиновники и торговцы. Он поручил губернскому землемеру Николаю Драгомиру составить план города с новыми наименованиями, большинство из которых были взяты от имевшихся в Харькове цехов ремесленников[20]
. Так, бывшая улица Сушкова получила наименование в честь цеха рымарей (лымарей). Но наивно было бы полагать, что эти рымари проживали в центре города, ведь они занимались выделкой кож, а это не очень приятное по запаху предприятие. Всего было 9 родоначальников этого цеха с фамилиями Лымарь, Демяненко, Николаенко, Прилипка, Гуевский, Решетко, Луценко, Согуренко, старшиной цеха в 1795 году был Гаврила Лымарь – ни один из этих людей не проживал на будущей улице Рымарской. Зато жил там с семьёй другой Гаврила – Рымаренко, который на 1795 год числился солдатом штатной роты гарнизона города Харькова. Тем не менее версия происхождения имени от цеха рымарей наиболее вероятна. С этим мы ещё не раз столкнемся на других улицах города.По рапорту 30 ноября 1804 года, улица Рымарская начиналась от двора купца Смирнова и заканчивалась у дома купца Баримова. К тому времени одним из лучших домов улицы был первый каменный дом купца 3 гильдии Егора Егоровича Урюпина, он происходил родом из Путивля и прибыл в Харьков в 1781-м, а с 1799-го по 1805 год был городским головой. Торговал купец Урюпин бумагой, почему с удовольствием стал помогать В. Н. Каразину в деле основания Университета в Харькове. Несмотря на то, что сегодня мемориальная табличка висит на доме № 4, на самом деле каменный дом Урюпина – это сегодняшний дом № 8. Будущее дворовое место под № 4 принадлежало сотнику Харьковского полка Алексею Ерофеевичу Краснокутскому, а его сын Матвей построил деревянный дом на каменном полуэтаже – на сегодняшний день это старейшее жилое задние в Харькове, да ещё и со старейшим торговым зданием в комплексе. Именно этот факт имел наиважнейшее значение для архитектора Александра Юрьевича Лейбфрейда, ведь легче было сохранить от разрушения дом городского головы, причастного к основанию Университета, чем никому не известного Матвея Краснокутского.
На улице и сегодня сохранилось немало интересных зданий, у каждого из которых своя история. Это и Мариинская женская гимназия, где сегодня действует гимназия № 6, и здание Коммерческого клуба, где сегодня принимает гостей Харьковская филармония, и здание Офицерского собрания инженерного управления Киевского военного округа. По Рымарской можно изучать архитектуру всего Харькова, начиная с XVIII столетия. Это жилые дома харьковских учёных и медиков, купцов и офицеров армии, наконец, частнокооперативные и доходные дома начала XX столетия, построенные по проектам архитекторов Александра Ржепишевского и Александра Гинзбурга.
В 1920 году улица Рымарская была переименована в улицу Клары Цеткин, и вернулось ей прежнее наименование с приходом оккупационных властей осенью 1941 года, после освобождения Харькова в 1943 году улица осталась со старым именем – Рымарской.
Сегодня улица Рымарская поворачивает в своём окончании направо и выходит на улицу Сумскую, но в начале XIX столетия этот пограничный для города переулок назывался Таракановский, названный по имени купца 2-й гильдии Ивана Никитовича Тараканова. Он имел в переулке двухэтажный каменный дом на каменном полуэтаже, в последнем располагалась торговля виноградными винами. Однако в 1820-е годы его торговля была подорвана долгами, имущество, включая и винные склады, было арестовано. В 1876-м мы видим, что переулок называется Чириковским, а с 1894 года он вошёл в состав Рымарской улицы.