Копившиеся годами большие и маленькие горести, обиды, бытовая неустроенность, финансовое неблагополучие легли на могучие плечи Алексея Кондратьевича непосильной ношей. Ему бы почувствовать со стороны близких чуть больше веры в свой незаурядный талант, но в семье холод разочарования, отчуждения и даже раздражения стал всё более пронизывать художника. Отогреться, хотя бы на некоторое время, у Саврасова теперь получалось только в трактире с рюмкой в руках. Алексей Кондратьевич ещё пытался что-то предпринять, давал частные уроки. Известность помогала ему в поисках учеников, но после занятий художника могли пригласить к обеду, и тут несдержанное отношение Саврасова к спиртному приводило частенько к скандальным казусам, после которых уроки, как правило, продолжения не имели.
Как любой простосердечный, немного безалаберный человек, Алексей Кондратьевич надеялся на лёгкое преодоление своих невинных, как ему казалось, слабостей. Но путь, на который он так опрометчиво ступил, навсегда увёл живописца от настоящего искусства, увёл от семьи, от всего, что было ему так дорого. И начался этот путь с того, что обычно случается во всех подобных историях – с упрёков, слёз и уговоров жены и уже ничего не значивших обещаний распятого алкоголизмом человека. Софья Карловна оказалась совсем не готова к долготерпению, и за это трудно осуждать женщину, уже не очень молодую, потерявшую четверых детей и переживавшую за будущее выживших дочерей. От трудностей она решила спасаться бегством и, забрав девочек, уехала к сестре Аделаиде в Петербург. Поначалу это была всего лишь попытка привести расстроенные нервы в порядок, а заодно – проучить непутёвого супруга. Карл Карлович Герц взял на себя финансовое обеспечение сестры и племянниц.
С наступлением осени Софья Карловна с Верочкой и Женни вернулась в Москву. Алексей Кондратьевич, сквозь пьяную дымку сумевший разглядеть ужасающую перспективу замаячившего семейного краха, прилагал немалые усилия, чтобы предотвратить катастрофу. В Софье Карловне затеплилась последняя надежда, но от Саврасова уже трудно было ожидать взвешенных решений. На деньги, оказавшиеся в его руках по счастливой случайности, живописец снял квартиру из шести комнат в доме Московского художественного общества, не желая думать о неизбежном скором завершении устроенного праздника. Чуда не произошло, и спустя четыре месяца Саврасовым пришлось покинуть съёмное жильё. Алексей Кондратьевич вновь принялся искать лёгкого утешения, и Софья Карловна с горечью осознала невозможность дальнейшего пребывания рядом с человеком, за которого ей и дочкам было теперь нестерпимо стыдно.
Василий Григорьевич Перов, с которым Саврасов успел сблизиться за время совместной работы в училище, как мог, покрывал друга, когда тот не являлся на занятия. Но через десять дней после кончины Перова Алексей Кондратьевич получил уведомление о своём увольнении. Училище для Саврасова было не просто местом службы, оно сделалось важнейшей частью его жизни, и пока эти стены принимали художника, в нём сохранялись главные смыслы и ориентиры. Итак, последняя нить, связывавшая Алексея Кондратьевича с прежней жизнью, оборвана. Винить было некого, он сам довёл себя до столь прискорбного состояния.
Незадолго до увольнения Саврасов появился в классе и, окинув воспалённым взором своих учеников, виновато прошелестел: «Да, давно я у вас не был. Давно… Болен я, и вообще…» Грустно было видеть на согбенных плечах этого могучего человека нелепый клетчатый плед, прикрывавший поношенную одежонку сомнительной свежести. Бедственное положение скомкало черты лица несчастного художника, но его воспитанники не сомневались – в душевных недрах Алексея Кондратьевича надёжно спрятана открытая им тайна поэзии природы. Ученики кинулись навстречу учителю, стали показывать свои последние работы. Алексей Кондратьевич поначалу оживился, дал несколько дельных советов, а потом как-то умолк и, сконфуженно попрощавшись, покинул класс.
Позднее Константин Коровин описал свою нечаянную встречу с Саврасовым, произошедшую перед самым его увольнением. Они увиделись на улице и очень друг другу обрадовались. Алексей Кондратьевич, убогий внешний вид которого вновь произвёл шокирующее впечатление, пригласил ученика в ближайший трактир, поведав, что как раз сегодня он получил немного денег за одну из своих работ. По мере принятия на грудь художник заметно мрачнел и в сердцах пожаловался приунывшему воспитаннику: «Всем чужие мы, и своим я чужой. Дочерям чужой…» А потом добавил: «Куда? Куда уйти от этой ярмарки? Кругом подвал, тёмный, страшный подвал, и я там хожу…» Свежий уличный воздух не принёс облегчения. В тусклом свете фонаря Саврасов выглядел ещё более потерянным, одиноким. А на прощание из его страдающей груди вырвалось убийственное признание: «Пойми, я полюбил, полюбил горе… Пойми – полюбил унижение…»