Отец семейства Михаил Андреевич терпеть не мог детских шалостей и предпочитал, чтобы его дети постоянно занимались каким-нибудь полезным делом – читали книги, изучали иностранные языки, готовили уроки. Он был образованным человеком и неплохим семьянином, но обладал вспыльчивым характером, был мнительным, болезненно подозрительным, самолюбивым и властным. Семья жила в довольно суровой обстановке, над которой «постоянно витал угрюмый дух отца».
Любовь Достоевская, дочь писателя, в своих воспоминаниях характеризовала деда как «очень своеобразного человека». «Пятнадцати лет от роду он вступил в смертельную вражду со своим отцом и братьями и ушел из родительского дома», – писала она. Родители готовили его к духовному званию, но, бросив Каменец-Подольскую семинарию, Михаил Достоевский отправился в Москву изучать медицину. С тех пор он никогда не говорил о своей семье и никогда не упоминал о своем происхождении. И только уже в 50-летнем возрасте, как полагает внучка, он стал испытывать угрызения совести, что бросил отчий дом.
Своих детей Михаил Достоевский держал в «ежовых рукавицах», воспитывая их в страхе и повиновении. Вспышки его гнева были ужасающими и приводили в трепет всех домочадцев. Нетерпимо требовательный к окружающим, он установил дома строго определенный порядок и тщательно следил, чтобы его неукоснительно соблюдали. Возможно, поэтому Федор Достоевский всю жизнь тяготился воспоминаниями о своем детстве, и в его творчестве нет никаких следов светлых воспоминаний об отце. По словам С. Д. Яновского, Федор Михайлович говорил ему «о тяжелой и безрадостной обстановке его детства, хотя благоговейно отзывался всегда о матери, о сестрах и брате Михаиле Михайловиче». Об отце же «решительно не любил говорить и просил о нем не спрашивать». Сложное, двойственное отношение к отцу Достоевский сохранил на всю жизнь.
Мать писателя Мария Федоровна, в отличие от своего мужа, была мягкой и добросердечной. Она горячо любила своего супруга, но очень страдала от его деспотичного характера и беспочвенной ревности. Судя по трогательным письмам Марии Федоровны, в которых она пыталась успокоить подозрения мужа, это была кроткая, милая женщина. Она была ласкова с детьми, и те любили ее всей душой. Федор Достоевский всегда отзывался о матери с горячей любовью и, создавая кротких и обреченных героинь своего позднего творчества, вероятно, думал именно о ней. Глубоко верующая, Мария Федоровна ежегодно возила детей в Троице-Сергиеву лавру, учила их читать по книге «Сто четыре священные истории Ветхого и Нового Завета». С особым чувством Достоевский вспоминал в зрелые годы о знакомстве с Писанием: «Мы в семействе нашем знали Евангелие чуть не с первого детства». Ярким детским впечатлением писателя стала также ветхозаветная «Книга Иова». Воспоминания об этой книге Достоевский включил в рассказ старца Зосимы о своем детстве в романе «Братья Карамазовы». Рано проснувшимся интересом к книгам Достоевский обязан и своей няне Алене Фроловне. Эта московская мещанка вынянчила всех детей Достоевских, которые с любовью называли ее «нянюшкою» и на ты. Именно от Алены Фроловны Федор Достоевский услышал первые сказки: о прекрасных царевнах и царевичах, о волшебной жар-птице и о подвигах русских богатырей. Он вспоминал свою няню с такой же нежностью, как Пушкин вспоминал Арину Родионовну: «Наша няня Алена Фроловна была характера ясного, веселого и всегда нам рассказывала такие славные сказки!..»
В семье Достоевских очень любили читать. В искусство романистики Достоевского ввела забытая ныне писательница XVIII века Анна Радклиф. Утвержденный ею в европейской литературе новый вид романа назывался «готическим» из-за влечения к рыцарским преданиям средневековья, запечатленным в скульптуре и витражах архитектурной готики. Из-за мрачности сюжета и траурного колорита его называли также «романом кошмаров и ужасов». Повествованиями А. Радклиф зачитывалась мать Достоевского. Долгими вечерами маленький Федор «за неумением грамоте» слушал, «замирая от восторга и ужаса», как родители его читали на сон грядущий многотомные эпопеи английской романистки. Достоевские выписывали также журнал «Библиотека для чтения», который давал возможность знакомиться с новейшей литературой. По вечерам в семейном кругу читали вслух «Историю государства Российского» H. М. Карамзина, произведения Г. Р. Державина, В. А. Жуковского и, конечно же, А. С. Пушкина. Младший брат Федора Михайловича Андрей Михайлович писал, что «брат Федя более читал сочинения исторические, серьезные, а также попадавшиеся романы. Брат же Михаил любил поэзию и сам пописывал стихи… Но на Пушкине они мирились, и оба, кажется, тогда чуть не всего знали наизусть…» Страстным почитателем таланта А. С. Пушкина Федор Достоевский оставался всю свою жизнь.