В 1850-х гг. Пибоди сколотил состояние в 20 млн. долл., финансируя все - от торговли шелком с Китаем до экспорта железных дорог в Америку. Хотя в начале 1850-х годов он построил лицей и библиотеку для своего родного города Дэнверса, в основном он хранил свои деньги, готовясь к очередной панике. Его неуверенность в себе только усиливалась по мере того, как он все больше терял. В 1852 г. он сказал другу: "Мой капитал... достаточен (конечно, ближе к 400 000 фунтов, чем к 300 000). ...но я пережил слишком много денежных паник, не пострадав, чтобы не увидеть, как часто сметаются большие капиталы, и что даже со своим собственным я должен соблюдать осторожность".
Джуниус Морган, ставший партнером Пибоди в 1854 г., позже рассказывал, что однажды утром он застал его в графском доме больным и ревматичным. У скупого Пибоди не было кареты, и он приезжал на работу на общественном конном экипаже. "Мистер Пибоди, с такой простудой вам не стоит здесь задерживаться", - сказал Морган. Взяв шляпу и зонтик, Пибоди согласился отправиться домой. Через двадцать минут, направляясь к Королевской бирже, Морган обнаружил Пибоди, стоящего под дождем. "Мистер Пибоди, я думал, вы идете домой", - сказал молодой человек. "Да, я еду, Морган, - ответил Пибоди, - но пока пришел только двухпенсовый автобус, а я жду пенни".К этому времени на банковском счете Пибоди скопилось более 1 млн. фунтов стерлингов.
Наслаждаясь местью клерка, Томас Перман, помощник Пибоди, передал целый ворох неприятных историй, порочащих ореол благосклонности Пибоди. Он рассказал, как его начальник, который каждый день обедал за рабочим столом из маленького кожаного ланч-бокса, посылал офисного мальчика купить ему яблоко. Эти яблоки стоили один пенс полпенни, и Пибоди давал мальчику два пенса; хотя мальчик мечтал оставить себе полпенни в качестве чаевых, Пибоди всегда требовал их обратно.
К началу 1850-х годов Пибоди приближался к шестидесяти годам и страдал от подагры и ревматизма. Его годовые сбережения были просто поразительными: из общего годового дохода в 300 тыс. долл. он потратил лишь около 3 тыс. долл. При таком богатстве и такой скупости он был готов к духовному обращению. Позднее он говорил: "Когда на меня нахлынули боли, я понял, что не бессмертен... Я понял, что в жизни есть люди, которые так же стремятся помочь бедным и обездоленным, как и я - заработать деньги".
Захотев посвятить себя филантропии, Пибоди столкнулся лишь с одной проблемой. Будучи авторитарным банкиром, он никогда не делился полномочиями и лишь в 1851 г. неохотно сделал своего офис-менеджера Чарльза К. Гуча младшим партнером, чтобы кто-то мог действовать в его отсутствие. Гуч был грустным Бобом Крэтчитом, который обращался к Пибоди как трепетный клерк; на самом деле он начинал как главный клерк. Одно из писем своему начальнику он начал так: "Дорогой сэр, я не часто беспокою вас письмами, поскольку знаю, что вам не нравится читать их, а мои - на темы, не слишком приятные". Гуча готовили к карьере постоянного подчинения и подтягивания за волосы.
В обычных условиях Пибоди выбрал бы сына или племянника, чтобы тот возглавил бизнес. Большинство торговых банков представляли собой семейные партнерства с несколькими талантливыми посторонними людьми. Но Пибоди, будучи холостяком, оказался в необычном положении: ему пришлось искать наследника и завещать свою империю незнакомому человеку. Впрочем, он был не чужд женскому обществу. Не куря и не выпивая, он прибегал к теневому миру незаконных удовольствий. Небезызвестный Перман рассказывал Морганам о любовнице Пибоди в Брайтоне, которую он щедро одаривал авансами в размере 2 тыс. фунтов стерлингов. Он исключил эту женщину и ее незаконнорожденную дочь из своего завещания, и в течение многих лет после его смерти дочь Пибоди миссис Томас материализовалась и требовала у Морганов денег. В конце 1890-х годов Морганы получили обращение от двух ее сыновей - один учится на барристера, другой - в Оксфорде или Кембридже. Стареющий Перман был отправлен проверять гены Пибоди. Когда он вернулся, то с изумлением вздохнул: "У обоих нос в точку, как у старика".
Мы не знаем, почему Пибоди отодвинул любовь в глухие уголки своей жизни. В целом он специализировался на том, что Диккенс назвал телескопической филантропией - щедрой любви к абстрактному человечеству в сочетании с крайней скупостью по отношению к лично знакомым ему людям. Он пользовался репутацией щедрого человека во всем викторианском мире - фактически везде, кроме своей непризнанной семьи и сотрудников.