В этом небольшом переулке можно видеть интересный образец московского модерна — особняк потомственного почетного гражданина Д.Ф. Беляева, перестроенный в 1903 г. из более старого здания по проекту А.А. Галецкого. Интересны красочные керамические вставки на садовом фасаде и живописная решетка на высокой каменной ограде.
Рюмин переулок выходит к разделу двух улиц — Яузской и Верхней Радищевской. Сюда же с противоположной стороны подходит Тетеринский переулок. Он проходит по местам, где в XVII — начале XVIII в. была небольшая (в 1632 г. всего 10 дворов) Тетеринская казенная слобода, населенная, вероятно, дворцовыми каменщиками. Начало переулка отмечают два архитектурных памятника. Справа — трехэтажное здание, построенное в 1790-х гг. в купеческой усадьбе. Разнообразен декор этого дома — лепные розетки, круглые ниши, сандрики (небольшие карнизы над окнами) на кронштейнах. Слева — двухэтажный южный флигель усадьбы И.Р. Баташева, главное здание которой располагается по Яузской улице (№ 11). Это один из самых видных образцов московского классицизма, выстроенный богатым фабрикантом Иваном Родионовичем Баташевым в начале XIX в. на большой усадьбе, образовавшейся после скупки нескольких владений. Среди них была и находившаяся на углу Тетеринского переулка немалая усадьба аптекаря Казимира Мейера, с жилым главным домом, стоявшим с правой стороны, не достигая примерно 8 метров до угла переулка. Усадьба Мейера в 1766 г. была приобретена знаменитым ученым Герардом Фридрихом Мюллером (в России он был известен как Федор Иванович Миллер), зачинателем систематического изучения российской истории. Он, бывший в Москве главой крупнейшего архива, скончался здесь в 1783 г.
На большом объединенном участке после сноса всех строений И.Р. Баташев между 1796 и 1804 гг. возвел дворцовое здание с двумя флигелями по улице. Утверждается, что правый флигель есть перестроенный дом Миллера, но это ошибка — флигель построен заново на пустопорожнем месте. В 1812 г. во дворе квартировал маршал Мюрат, впоследствии он принадлежал зятю Баташева, генерал-лейтенанту Дмитрию Шепелеву и его наследникам, сумевшим промотать громадное наследство. В 1866 г. дворец превращается в больницу для чернорабочих, теперь же это городская больница под странным названием «Медсантруд» (в первые годы советской власти дали ей «революционное» имя профсоюза медработников «Всекомсантруд»).
Далее переулок застроен в основном зданиями второй половины XIX в., владельцами которых были небогатые купцы и мещане. Только уже ближе к улице Земляной вал в конце XIX — начале ХХ в. появляются большие доходные дома № 14 (1912 г., архитектор О.О. Шишковский) и № 20 (1910 г., архитектор Э.К. Нирнзее). От Тетеринского отходит Землянский переулок, выходящий к Николоямской улице. Эти места долгое время были почти не застроены. Известно, что здесь находился большой «огород» боярина Никиты Романова, пожалованный в 1655 г. патриарху Никону под подворье, и огород Иверского монастыря. В конце XVIII в. на месте подворья располагалась усадьба (№ 2/30) с каменным домом, принадлежавшая двум сестрам — Марии и Варваре Чичериным, сестрам бабушки А.С. Пушкина, по фамилии которых переулок до 1950 г. назывался Чичеринским.
От Николоямской улицы перпендикулярно к набережным Яузы выходят два небольших переулка — Берников, названный по одному из домовладельцев (старое название — Блазновский — было также обязано его жителю), и Лыщиков переулок, который именовался Покровским по церкви Покрова Богородицы, «что на Лыщикове (или «на Лыщевой») горе». Ее название некоторые справочники производят от личного имени Лыщик, которое, однако, нигде не упоминается здесь. Утверждается также, что городище Лыщиково известно с XII в., но доказательств этому нет, археологические данные свидетельствуют о культурном слое XIV в.
Покровский Лыщиковский «княжий» монастырь упоминается в завещании Ивана III 1504 г.: «Благословляю сына своего старейшего Василья своею отчиною, великими княжествы, чем мя благословил отец мои, и что ми дал бог…», и далее он перечисляет дворы и села и прочее, «да монастырь Лыщиково и 3 дворы…». Тот же монастырь фигурирует и в завещании Ивана IV.
Нынешнее здание церкви построено, как было записано в 1722 г., по прошению дьяка Ивана Рагозина «тому лет с двадцать восемь» (то есть примерно в 1694 г.); известно, что антиминс (платок с изображением сцены положения Христа во гроб) выдали к «новопостроенной церкви» в 1696 г. Ее значительно перестроили в 1830-х гг., когда переделали трапезную и пристроили новую апсиду, вобравшую в себя первоначальную. Последняя перестройка относится к 1880-м гг., когда над зданием возвели небольшую главку. Колокольня же относится к концу XVIII в. Храм не закрывался в советские годы, и на колокольне сохранились старинные колокола.