Ли проехал 113 миль по прерии от форта Мейсон до Сан-Антонио, чтобы принять новое командование. Сан-Антонио был приятным городом с тенистыми деревьями вдоль реки Сан-Антонио и красивыми испанскими домами, один из которых Ли взял у своего предшественника в качестве штаба, что было большим улучшением по сравнению с продуваемой ветром палаткой на Бразосе. "Погода здесь чрезмерно жаркая", - писал он своей дочери Энни, которой тогда было восемнадцать лет. "Днем дома защищают от солнца лучше, чем палатки, в которых я жил. Но, привыкнув так долго спать под открытым небом, ночи угнетают меня и тянутся ужасно долго". Он быстро обрел суррогатную семью - двух маленьких дочерей начальника расчета, но его профессиональный интерес мало что стимулировало: это была самая скучная и рутинная гарнизонная служба мирного времени, без интеллектуального вызова, присущего инженерному делу. Неудивительно, что он все еще выражал сожаление по поводу того, что выбрал профессию солдата, и тосковал по компании собственных детей. Особенно его беспокоил Руни, которому после неудачи с поступлением в Вест-Пойнт удалось добиться приема в Гарвард, где, как жаловался отец, он "бегал и развлекался". Руни вызвал еще большее беспокойство, покинув Гарвард без получения диплома; с помощью генерала Скотта отец добился для него назначения в армию. Однако ничто так не беспокоило Ли, как отсутствие направления или цели у одного из его сыновей - Руни, с грустью жаловался Ли, "прибавляет больше лет к седым волосам на моей голове"; к тому же молодой человек наделал долгов, влюбился и был намерен жениться. Юный Роб еще учился в школе и вскоре должен был поступить в Виргинский университет, и, похоже, был достаточно благочестив и хорошо себя вел, чтобы устраивать своего отца; но между долгами Руни в Гарварде и оплатой обучения Роба Ли, должно быть, чувствовал себя не в своей тарелке. К тому же его беспокоило здоровье Мэри, которое, похоже, подводило - она все чаще становилась калекой с тем, что мы сейчас назвали бы ревматоидным артритом, единственным лечением которого в те времена было частое посещение горячих источников; и, имея стареющего отца, четырех дочерей, о которых нужно заботиться, и трех энергичных сыновей, она в конце концов была вынуждена сказать мужу несколько резких слов. "Я сделаю все, что в моих силах, - писала она Ли, - но ты можешь гораздо лучше... Пора бы тебе побыть со своей семьей". Ничто не могло быть более мучительным для Ли, чем необходимость решать между двумя противоположными обязанностями - одной перед армией, другой перед Мэри и своей семьей, - и он, похоже, не мог разрешить этот конфликт.
А в октябре 1857 года дилемма неожиданно разрешилась для него. Он получил известие о том, что его тесть, Джордж Вашингтон Кьюстис, умер от пневмонии в возрасте семидесяти шести лет, оставив убитую горем Мэри без родственников-мужчин, которые могли бы помочь ей разобраться со значительным имуществом мистера Кьюстиса. Что бы ни думали другие о мистере Кустисе и его многочисленных эксцентричностях, Ли всегда дорожил своим тестем, возможно, как последней живой связью с Джорджем Вашингтоном. Ведь мистер Кьюстис родился в 1781 году, всего через семь дней после того, как лорд Корнуоллис сдался Вашингтону в Йорктауне - событие, ставшее фактическим завершением Американской революционной войны, на котором присутствовал и отец Ли.
В 1850-х годах, когда связь и путешествия были настолько медленными, было понятно, что для офицера такого ранга и социального класса, как Ли, смерть в семье требует отпуска, и он без труда получил двухмесячный отпуск. Он подытожил свое положение в письме к своему другу Альберту Сидни Джонстону: "Я вижу, что мне наконец предстоит решить вопрос, который я откладывал в течение 20 лет. Останусь ли я в армии на всю жизнь или уйду из нее. . . . Мои предпочтения, которые цеплялись за меня с детства, заставляют меня выбрать первый путь, но все же я чувствую, что семья мужчины тоже имеет свои требования".
Проблемы семьи едва не захлестнули Ли, как только он вернулся в Арлингтон 11 ноября. Первым потрясением стало то, до какой степени Мэри Ли превратилась в инвалида - ничто из ее писем не подготовило Ли к тому, что она испытывает боль, и к тому, что в свои сорок девять лет она едва ли может передвигаться по дому без посторонней помощи. Вторым потрясением стало завещание мистера Кэстиса. Как мог догадаться тот, кто его знал, мистер Кэстис написал завещание сам, а не прибегнул к услугам адвоката, и в результате получилась солянка из благих намерений и противоречивых положений. Мистер Кьюстис щедро завещал наследникам, но практически не задумывался о том, как добыть деньги для их выплаты.