Пашу удалось определить в Сибирский кадетский корпус, и с августа 1857 супруги жили вдвоем. Оба хворали - Достоевский приписывал нездоровью жены отсутствие детей. В конце ноября 1857г. он пишет сестре Марьи Димитриевны, Варе:
"Знаете ли, у меня есть такой предрассудок, предчувствие, что я скоро должен умереть. Такие предчувствия бывают почти всегда от мнительности, но уверяю вас, что я в этом случае не мнителен, и уверенность моя в близкой смерти совершенно хладнокровная...
Мне кажется, что я уже все прожил на свете и более ничего не будет, к чему можно стремиться". Эти строки он пишет через десять месяцев после брака с "ангелом", с той женщиной, "без которой нельзя жить" и из-за которой он собирался броситься в Иртыш.
В январе 1858 г., следуя советам друзей из Петербурга, Достоевский подал официальное прошение об отставке и разрешении вернуться в Европейскую Россию. Ведь он отбыл срок наказания - по приговору ему полагалось провести четыре года в Сибири по выходе с каторги, - и вот четвертый год в Семипалатинске подходил к концу. Прошло, однако, ещё пятнадцать месяцев, прежде чем просьба его - вполне законная - была удовлетворена.
Но в 1858 и начале 1859 года вдохновения было мало и оставалась по преимуществу работа, да и та не клеилась.
Меланхолию и апатию Достоевского усиливало растущее сознание семейного банкротства. Едва он приходил домой с ненавистной службы, как начинались стычки с женой, её слезы и упреки. Хотя Достоевский и выбивался из сил, давая уроки, занимая деньги направо и налево и прибегая ко всевозможным финансовым комбинациям, они никак не могли выбиться из нужды.
Его иллюзии, что она хорошая хозяйка, быстро улетучились: как и он, она не умела считать деньги, жили они безалаберно, в постоянном страхе кредиторов, неприятностей и полного расстройства их скудных финансов, иными словами, в боязни, что наступит день, когда и хлеба будет не на что купить. Им едва хватало, чтобы заплатить за стол и квартиру, об иных расходах не приходилось и думать.
Но вот весной 1859 года было получено долгожданное разрешение выйти в отставку и избрать для жительства любой город Европейской России, за исключением столиц: пребывание в Москве или Петербурге было ему запрещено. Достоевский разом воспрял духом. Начались хлопоты - на этот раз веселые об отъезде. Все знакомые снаряжали их в дорогу, получить взаймы деньги на путешествие не представило никаких трудностей. Пашу взяли из корпуса. 30 июня была подписана официальная бумага о выходе Достоевского в отставку в чине подпоручика. Через два дня в тарантасе, специально купленном для поездки, Федор Михайлович, Марья Димитриевна, Паша и слуга выехали из Семипалатинска. Достоевский решил поселиться в Твери: город находился вблизи Москвы, на линии железной дороги между двумя столицами. До места назначения надо было сделать четыре тысячи верст на лошадях. Марья Димитриевна плохо переносила езду и все болела, и того удовольствия, какое Достоевский ожидал от путешествия, не получилось: никто не разделял его восторгов от природы и новых лиц и мест, и он с особенной силой ощутил свое одиночество.
Это ощущение резко усилилось по приезде в Тверь, в конце августа. После долгих поисков они сняли меблированную квартирку из трех комнат. Марья Димитриевна осталась этим очень недовольна. Все не нравилось ей в Твери, и она донимала мужа упреками и нелепыми просьбами. И Достоевскому Тверь не понравилась - это был маленький провинциальный городок с улицами, поросшими травой - но он волновался от близости столицы, без умолку говорил о своих литературных планах. А она отвечала ему жалобами на то, что у неё нет туалетов и все тряпки её слишком пахнут сибирской глушью.
Главная забота Марьи Димитриевны была не ударить лицом в грязь перед местными модницами, но она тут же заявила мужу, что выходить не станет, потому что ей негде принимать. Своей квартиры она стыдилась, бедность свою принимала, как незаслуженное оскорбление, и вообще вела себя, как мученица, которую унижал и обижал злой тиран муж - недостойный её возвышенной души.
Марья Димитриевна была фантастична, мнительна, ревновала невпопад, всегда к тем женщинам, о которых Достоевский и не думал, и не подозревала тех, кем он интересовался. По всякому поводу начинались слезы и сцены. С ней невозможно было никуда выйти, всегда происходила какая-нибудь нелепая история: то ей не так подали в ресторане, то ей ответили грубым тоном в магазине, то знакомый, проходя, едва ей поклонился. Когда муж был весел, она была грустна, но стоило ему задуматься, как она начинала надоедать ему шутками и беспричинным смехом. А когда он садился за работу, она упрекала, что он держит её точно в заточенье, не показывает друзьям, ни с чем с ней не делится. Но делиться он с нею не мог, потому что она не понимала ни его религиозных исканий, ни его литературных устремлений. К его писаниям у неё всегда было чуть скептическое отношение.