Миниху назначили местом заточения Пелым, сибирский городок, куда прежде отправили сверженного регента Бирона, по указанию князя Алексея Черкасского, которому был известен сибирский край, так как, прежде поступления своего в сан кабинет-министра, он был сибирским губернатором. Миних сам начертил план дома, определенного на житье сосланному любимцу императрицы Анны Ивановны. Ему пришлось теперь ехать туда, куда он надеялся засадить на всю жизнь своего соперника. Это подало повод к легенде, будто Миниху суждено было проживать в этом самом доме; но это неверно исторически. Дом, построенный для Бирона, сгорел прежде доставления в Пелым бывшего фельдмаршала. Когда Миниха везли в ссылку, Бирон, по указу императрицы, возвращался из ссылки в Ярославль, назначенный ему для житья вместо отдаленного Пелыма. Враги встретились при перемене почтовых лошадей в предместии города Казани, сняли друг перед другом шляпы, поклонились один другому и поехали каждый в свою сторону, не обменявшись ни одним словом между собою. Миниха поместили в воеводском доме, построенном посреди деревянного острога. Положение, в каком очутился бывший фельдмаршал, недавний первый министр Российской империи, была не простая ссылка, а тяжелое тюремное заточение. Он не смел никуда выходить дальше острожной стены, которою отделено было его жилище от остального мира. Хотя с ним поехала довольно немалочисленная прислуга, пастор и врач, но только они исключительно могли ходить в город, состоявший в то время из небольшого числа обывательских домов. В 1746 году писал узник к своему брату, избегнувшему ссылки и остававшемуся при дворе с прежним чином действительного тайного советника, барону Миниху: в своем письме он оставил наглядное описание своего горемычного житья.
«Для спасения наших душ у нас, по милости ее императорского величества, господин пастор Мартенс поныне находится, с которым мы по все дни по утру и вечеру с нашими немецкими служителями Божию службу отправляем и с особливым благоговением святые свои книги читаем, святое причастие мы принимаем, сколь скоро мы оного душевно алчем и жаждем, и тако ж мы о высоком здравии ее императорского величества и их императорских высочеств Бога усердно молим. Наше состояние здравия мое и любезной жены моей нарочито; и состоит мой утренний и вечерний хлеб в жестком сухаре, который лучше молотом разбивать, нежели разломать можно. А из наших служителей повар Бранд почти непрестанно болен. Находится при нас здесь небезыскусный лекарь, и мы ежегодно на тридцать и на сорок рублей из катеринбургской аптеки лекарства за наши деньги берем; за болезнью же оного повара наша кухня не очень исправна и только один мальчишка стряпает, а нас по все дни обедает с караульным офицером ординарно четырнадцать, а частью и шестнадцать персон с робятами. Наша квартира в здешнем воеводском доме посреди высокой деревянной крепости, которая в квадрате от семидесяти до восьмидесяти шагов, а для людей наших одна изба по прошению нашему от караульного офицера, а другая на наши деньги построены, а притом плохой погреб, в котором зимою, дабы питье не мерзло, непрестанно уголье горящее держать принуждены. Наш взгляд во все стороны на тридцать или сорок шагов – высокая деревянная стена крепости, на которую уже смотреть мы так привыкли, как напред сего на изрядные палаты в Петербурге.