Для лечения и по ряду других обстоятельств Погосский в 1863 г., передав издания В. Дерикеру, уехал за границу, где пробыл три года, живя подолгу в Швейцарии и останавливаясь в Берлине, Дрездене, Париже, Лондоне и других городах Западной Европы. Долгое пребывание Погосского за границей «навлекло на него подозрение в политической неблагонадежности», вскоре рассеявшееся, и он вернулся к 1867 г. в Петербург, где тогда же предпринял новое издание – журнал «Досуг и дело» по плану, одобренному военным министром Милютиным. Этот журнал выходил книжками (до пятнадцати в год), причем каждая книжка представляла одно законченное сочинение по одной из трех отраслей «образования и развития: военного дела, общеобразовательного развития и словесности». И этот журнал, продолжавшийся под другой редакцией и после смерти Погосского, так же как и предыдущие, имел значительный успех, и сам издатель удостоился редкой чести: 24 апреля 1869 г. вышло высочайшее повеление «зачесть литературную деятельность Погосского, как издателя народных журналов (вышеозначенных) за действительную службу».
Эта высочайшая милость была весьма кстати для Погосского, так как, несмотря на энергичную и плодотворную деятельность «военного Даля», труды его на пользу просвещения народа давали ему весьма скудный заработок, его работа требовала большого напряжения. Погосский много трудился как издатель народных журналов, как беллетрист, как автор народных пьес и «один из главных радетелей на пользу народного театра, и как член-основатель, и председатель Комитета грамотности, и как один из инициаторов народных воскресных школ и наглядного обучения в войсках, и т. д.». Находясь долго без службы, обремененный большим семейством Погоский в 1873 г. обратился сначала к военному, а затем к морскому министру с ходатайством о предоставлении ему штатного места. В том же году в Морском министерстве учредили должность инспектора экипажных школ Морского ведомства в Петербурге и Кронштадте, которую предоставили Погосскому. «Александр Фомич с жаром принялся за столь близкое его сердцу дело, но скоропостижная смерть 26 августа 1874 г. не дала ему возможности привести в исполнение широких планов по преобразованиям в постановке учебного дела в экипажных школах»94
.Некрологи Погосского в своих ближайших выпусках поместили «Иллюстрированная неделя», «Биржевые ведомости», «Всемирная иллюстрация», «Голос», «Домашняя беседа», «Петербургская газета», «Петербургский листок», «С.-Петербургские ведомости», «Церковно-общественный вестник» и другие газеты, а затем журналы, с которыми сотрудничал А.Ф. Погосский, напечатали статьи о нем. Похоронен Погосский в Петербурге, на Волковом кладбище; на его могиле по инициативе и на средства Комитета грамотности поставлен красивый памятник95
.В 1885–1909 гг. домом владели старший делопроизводитель отделения законности Государственной канцелярии (в 1901 г. – помощник статс-секретаря канцелярии, член хозяйственного комитета дворца императрицы Марии), деятель Петербургского городского кредитного общества, член Общества вспомоществования нуждающимся ученикам 2-й Петербургской гимназии действительный статский (в 1908 г. – тайный) советник Алексей Михайлович Соков (1848–1909) и его жена Софья Дмитриевна, унаследовавшая домовладения после смерти мужа и владевшая им еще в сентябре 1918 г.96