Правая сторона Большого Козловского переулка начинается пышно украшенным домом (№ 2/46, 1874 г., архитектор И.П. Херодинов), в котором жили художник К.Ф. Юон и известный исследователь истории Москвы, автор книги «Памятные места Москвы» Б.С. Земенков, о котором написана содержательная биографическая статья в сборнике «Краеведы Москвы» В.Б. Муравьевым. Соседний особняк, на зеленом фоне стен которого ярко выделяются белые детали декора, построен в 1874 г. по проекту П.С. Кампиони и перестроен в 1890 г. архитектором П.А. Дриттенпрейсом. Тогда же он получил и теперешний фасад, на котором в лепных картушах под карнизом виднеется латинская буква S — первая буква фамилии владельца, отнюдь не иностранца, а природного россиянина, шуйского купца первой гильдии Павла Севрюгова. Далее — административные здания, построенные на месте сада Филаретовского училища. Напротив них — заурядный жилой дом (№ 3, 1901 г., архитектор И.Г. Кондратенко) и рядом пышно украшенный особняк 1888 г. (инженер Б.В. Ростковский). Переулок заканчивается доходными домами № 8 (1913 г., архитектор Г.К. Олтаржевский) и № 12 (1911 г., архитектор И.Г. Кондратенко), в нем в 1930-х гг. жил артист Б.Г. Добронравов. Последний был выстроен на месте деревянного дома поэта И.И. Дмитриева, давнего знакомого пушкинской семьи.
Басни И.И. Дмитриева были широко известны, а некоторые его стихотворения стали народными песнями. Он любил Москву, всегда стремился поселиться в ней, что и исполнил на склоне лет. Дмитриеву принадлежат широко известные строки о Москве:
После выхода в отставку — И.И. Дмитриев был обер-прокурором Сената и жил тогда в Петербурге — он купил в 1801 г. небольшой дом профессора права Московского университета К.Я. Лангера. Дмитриев писал в мемуарах «Взгляд на мою жизнь», что он «переделал его снаружи и внутри, сколько можно получше; украсил небольшим числом эстампов, достаточною для меня библиотекою и возобновил авторскую жизнь». Позади дома находился небольшой сад, который был приведен Дмитриевым в образцовый порядок, его можно было часто видеть за чтением «под густой тенью двух старых лип, прозванных Филемоном и Бавкидою». Он дружил с Н.М. Карамзиным, и будущий историограф почти каждый день бывал здесь. Дом Дмитриева был одним из культурных центров допожарной Москвы — хозяин вспоминал, что его нередко посещали «молодые писатели» В.Л. Пушкин, В.А. Жуковский, В.В. Измайлов. Узнав, что этот домик сгорел в пожаре 1812 г., В.А. Жуковский посвятил ему стихотворение-воспоминание:
Далее за перекрестком с Большим Харитоньевским переулком Большой Козловский меняет свое название на Малый. Участок № 1–5, то есть почти вся левая сторона Малого Козловского переулка
(в конце XVIII в. он назывался Мальцевым переулком), составлял одно владение — в 1804 г. его приобрел князь Федор Сергеевич Одоевский. После отставки он занимал должность директора Московского отделения Ассигнационного банка.Княгиня Екатерина Одоевская происходила из семьи мелкого чиновника, прапорщика Филиппова. Их дом был в приходе церкви Св. Власия.
Здесь провел раннее детство их единственный сын Владимир, последний представитель старинного и благородного княжеского рода, известный в будущем писатель, педагог, библиотечный деятель, музыкальный критик. После смерти отца (он скончался в этом доме молодым — ему было в 1808 г. всего 37 лет) вдова его уезжает из Москвы, а сын остался на попечении сначала деда, а потом родственника князя П.И. Одоевского.
В конце 1805 г. в одном из домов на участке Одоевских поселяется Сергей Львович Пушкин с семьей. Это была его последняя квартира в Огородной слободе, отсюда он переезжает в район Арбата — на Поварскую.
В 1895 г. на бывшем участке Одоевских построены для благотворительных целей два здания — на углу краснокирпичное здание Ксениевского приюта (№ 1, архитектор М.К. Геппенер; в конце 1920-х гг. была школа № 49) и далее по переулку — Долгоруковский приют (№ 3, архитектор Д.В. Шапошников). В 1919–1922 гг. здесь находился авиатехникум, директором которого был Н.Е. Жуковский. Позднее техникум стал Академией воздушного флота.
Четная сторона Малого Козловского переулка не блещет архитектурными памятниками, и скромный двухэтажный дом (№ 4, 1891 г.) ничем не выдает руки своего автора, будущего ведущего архитектора модерна Л.Н. Кекушева. Это одна из его первых построек в Москве.