В 1877 году к нему в гости приехала мать и прожила в Сидзуока около месяца. Она выделяла Ёсинобу среди других сыновей и говорила, что он больше всех похож на отца. Жена Микако приехала к мужу в 1868 году и прожила с ним двадцать пять лет. В последние годы она болела и несколько раз выезжала в Токио на операции. Весной 1894 года Микако уехала в столицу на очередной курс лечения, там почувствовала себя хуже и в июле умерла. Её брак с Ёсинобу был устойчив и продлился почти сорок лет, хотя поначалу отношения между супругами не складывались – согласно устным свидетельствам, через полтора года после замужества Микако пыталась покончить с собой. Они поженились в декабре 1855 года, когда жениху было восемнадцать, а невесте двадцать лет. Единственная дочь, родившаяся в этом браке, умерла в раннем возрасте, других детей у супругов не было. В Сидзуока семейный мир восстановился, причём важным фактором гармонии стали две наложницы Ёсинобу, Симмура Нобу и Наканэ Ко. Он оставался бездетным до тридцати четырёх лет, но затем гражданские жёны на двоих родили ему десять сыновей и одиннадцать дочерей. Женщины прекрасно ладили между собой и вместе воспитывали детей Ёсинобу; его законная жена спокойно относилась к их присутствию.
В Токио бывший сёгун выезжал крайне редко – всего пять раз за тридцать лет; только чтобы навестить во время болезни мать и жену и два раза на их похороны. В 1878 году в Сидзуока проездом остановился император Мэйдзи, и губернаторство по этому случаю устроило званый ужин. Ёсинобу тоже получил на него приглашение, но вежливо отказался.
Свой шестидесятилетний юбилей он встретил в сентябре 1897 года в полном здравии и хорошем настроении. По случаю знаменательной даты в семье было принято важное решение – переехать в Токио. Ёсинобу поселился в районе Сэтагая, рядом с железнодорожной станицей Сугамо, в просторной усадьбе площадью около десяти тысяч квадратных метров. Из-за подготовки к переезду празднование его юбилея было перенесено на февраль следующего года. А через месяц после этого бывший сёгун получил от императора приглашение во дворец. В последний раз они встречались тридцать лет назад, когда Мэйдзи едва исполнилось пятнадцать лет, а тридцатилетний Ёсинобу ещё возглавлял
Несмотря на уединённый образ жизни отставного правителя, новая власть о нём не забывала. В решающий момент он сумел подавить личные амбиции и отказался воевать с императорским домом, хотя многие сторонники его за это осуждали и называли предателем. Мирный переход власти и гражданская война со сравнительно небольшим числом жертв стали результатом его личного решения, и это было оценено. В последующие тридцать лет император не только возвратил Ёсинобу его прежние придворные регалии, но и добавил новые. В 1872 году ему был присвоен неполный четвёртый ранг, в 1880 году – полный второй, который он имел на посту сёгуна, а в 1888 году – неполный первый ранг. Таким образом, придворный статус последнего сёгуна был полностью восстановлен и давал право личной аудиенции у императора. Их связывали и родственные узы: жена Мэйдзи была родной, а жена Ёсинобу – приёмной дочерью главы аристократического дома Итидзё; по тогдашним правилам они считались сёстрами. Встреча сёгуна и императора прошла дружелюбно и стала актом формального примирения старой и новой власти. В соответствии с первым пунктом конституции принца Сётоку, написанной ещё в VII веке, – о приоритете гармонии в человеческих отношениях.
Перед встречей с императором Ёсинобу попросил Кацу Кайсю, который все эти годы оставался его доверенным лицом, сделать так, чтобы во время визита исключить встречу с кем-либо из бывших удельных князей, ставших баронами, графами и губернаторами. Вероятнее всего, из-за отсутствия ритуала, которого следовало бы придерживаться в этом случае обеим сторонам.
После встречи с императором курс на примирение и забвение прежних обид был продолжен. Двадцать второго июня 1900 года Ёсинобу был присвоен древний придворный титул