Я родился 19 ноября 1872 г. старого стиля в селе Веретея Мологского уезда Ярославской губернии, в «родовом гнезде» Ушаковых. Мой дед со стороны отца — Ширяев Иван Климентович прослужил свыше 50 лет священником в селе Дмитриевское недалеко от уездного города Романово-Борисоглебска. Священнослужителем (дьяконом) был и мой отец — Геннадий Иванович Ширяев. Он получил свое место дьякона от тестя — Ивана Андреевича Ушакова как бы в приданое за дочерью, Александрой Ивановной Ушаковой. До переезда в Веретею Иван Андреевич служил в Ярославской Сретенской церкви, а в Веретее занял также место своего отца, дьякона Андрея Зосимовича Ушакова.
Дед (Ширяев) всю жизнь до глубокой старости занимался хлебопашеством. Когда я в бытность свою в пятом классе семинарии (в 1881 году) пришел из Ярославля его проведать, то встретил его, 80-летнего старика, в 5 часов утра на риге, с довольно тяжелым мешком хлеба на плечах. Трудно понять, как он ухитрялся в свое время содержать и обучать своих многочисленных сыновей; правда, содержание ребят в городе тогда стоило баснословно дешево, — рубля три в месяц с человека плюс 12 пудов муки в год, но детей была куча, — целых девять человек: Петр, Александр, Геннадий, Евлампий, Иван, Леонид, Алексей и две дочери — Анна и Екатерина. Законченное среднее образование получил только старший сын Петр».
Мать моя, Александра Ивановна Ушакова, происходила из старинного рода Ушаковых. У ее отца, Ивана Андреевича, было трое детей: дочь Александра и два сына: Николай и Федор. Последний умер еще мальчиком, будучи учеником духовного училища. Николай Иванович, человек недюжинных способностей, с широкими запросами и серьезным взглядом на жизнь, был неудачником. Несмотря на то, что он прекрасно учился, его исключили из духовного училища за то, что он был певчим в одной из ярославских церквей: взрослые певчие-семинаристы после спевки (в квартире) устроили какой-то скандал, и в наказание уволены были не только они, но и ни в чем не повинные малыши, в том числе и Николай Ушаков. Мальчика пустили было по обычной дорожке — отдали послушником в монастырь, чтобы приготовить из него в будущем деревенского дьячка. Но мальчик не выдержал обстановки и самовольно убежал оттуда домой.
Тогда его пристроили писцом в какую-то канцелярию в городе Мологе, и здесь он самостоятельно начал пробивать себе дорогу в жизни. В конце концов усиленно, по мере возможности пополняя свои знания, он добился должности бухгалтера в местном городском банке и в этой должности оставался до смерти. Женился он неудачно: жена, Евгения Петровна (урожд. Овчинникова), типичная мещанка, слабограмотная, не могла понять мужа и занималась лишь тем, что рожала детей да бранилась с кухарками. Несмотря на скромные размеры заработка, который не превышал, кажется, 60—70 руб. в месяц, Николай Иванович ухитрился (не без помощи моего отца) приобрести в Мологе дом с довольно большим участком земли. Его он обрабатывал с большим уменьем и любовью, и его сад и цветники славились по всему городу. В его семье я провел около 1,5 года восьмилетним мальчиком, обучаясь в городском училище.
Николай Иванович может служить образцом человека идейного и разнообразно-талантливого. У него многому мог бы научиться любой интеллигент, заброшенный в глухую провинцию. Вечно серьезный, вечно за работой — то на службе, то у себя в саду, то в своей мастерской, то за книгой, то с каким-нибудь музыкальным инструментом в руках, то с карандашом за рисованием, он не знал ни отдыха, ни развлечений, да и не нуждался в них. Те достижения, которые он сделал за свою короткую жизнь (он умер от туберкулеза 38 лет от роду), до сих пор приводят меня в изумление: он недурно рисовал, играл чуть ли не на десяти музыкальных инструментах, отлично столярничал и великолепно знал местную флору.