В Калуге жил Н.С. Яновский, сын известного русского мореплавателя, управляющего Русской Америки С.И. Яновского. Н.С. Яновский и его родня с конца ХIХ в. жили в роскошном доме (ныне известном как дом Яновского), построенном еще в конце ХVIII в. богатейшими купцами Калуги Прянишниковыми. К этому времени Н.С. Яновский был уже губернским предводителем дворянства и ему нужен был не просто удобный дом, а дом-дворец, достойный его высокого общественного статуса. Этот дом Яновского охраняется как памятник архитектуры.
В Калуге в представительных собственных домах жили богатые купцы. Так, напротив дома Яновского сохранился возведенный почти по такому же проекту дом купца Рябчикова. В этом доме с 1867 г. открыли Пестряковскую богадельню и приют для неимущих реального и технического училищ.
Российские царские чиновники понимали прелести жизни в Калуге. Так, около церкви Покрова на Рву сохранился бывший дом военного министра России во 2-й половине ХIХ в. Сухо-Занет, считавшего не лишним иметь собственность в Калуге, которую он любил, в которой ему нравилось жить в тишине и спокойствии, без суматохи и интриг столичной жизни.
В 1801–1802 гг. в Калуге жил и работал поэт Г.Р. Державин. Он тогда прибыл сюда для ревизии в связи с обнаруженными злоупотреблениями местных губернских властей. Сохранился дом, в котором тогда жил Державин. В 1829 г., во время поездки на Кавказ, в Калуге останавливался А.С. Пушкин (в его «Путешествии в Арзум», в первой главе, упоминается о его пребывании в Калуге). В 1875 г. в управлении Ряжско-Вяземской железной дороги служил Г.И. Успенский, он отразил свои впечатления о жизни и работе в Калуге в своих произведениях, в том числе в рассказах «Книжка чеков», «Неплательщики» и др. В Калугу приезжали П.А. Вяземский, Ф.М. Достоевский, В.А. Жуковский, С.Т. Аксаков, А.К. Толстой, а также естествоиспытатель А.Г. Болотов (дружил с первым калужским – с 1777 по 1790 г. – и тульским наместником М.К. Кречетниковым, который был официальным руководителем парко-строительных работ Болотова в Богородицке). Еще раньше в Калугу по приказу императрицы Екатерины II был сослан польский просветитель Юзеф Залуский (1769–1773), который в ней написал 28 томов своих сочинений, в том числе «Универсальную географию» (1769).
В Калугу приезжал и жил в ней (1850–1851) Н.В. Гоголь. В Калуге он был особенно рад встретиться со своей давней и верной приятельницей Л.О. Смирновой-Россет, ставшей с 1831 г. калужской губернаторшей, женой Н.М. Смирнова.