Девочку назвали Розали, и Харви сосредоточил на ней все своё внимание. Вскоре после рождения дочери у Арлин случился выкидыш, и после удаления матки она больше не могла вынашивать детей. Когда Розали подросла, её определили в Беннетс — самую дорогую школу для девочек в Вашингтоне, по окончании которой она поступила в Вассар на филологический факультет. Таким ходом событий остался доволен даже старый Хантер: с годами он стал терпимее относиться к Харви, а от внучки был попросту без ума. Получив диплом, Розали продолжила образование в Сорбонне. В это время у неё произошла большая размолвка с отцом по поводу её друзей, особенно тех, кто носил длинные волосы и не хотел воевать во Вьетнаме. Правда, и сам Харви во Вторую мировую войну не делал ничего, кроме как наживался на любом дефиците. Окончательный разрыв между отцом и дочерью произошёл, когда Розали осмелилась предположить, что порядочность определяется не только длиной волос или политическими взглядами. Харви очень страдал из-за ссоры с дочерью, но отказывался признать это даже наедине с Арлин.
По жизни у Харви было только три страсти: первой все равно оставалась Розали, вторая — картины, а третья — орхидеи. Первая страсть появилась с рождением дочери. Вторая развивалась на протяжении многих лет, возникнув при несколько необычных обстоятельствах. Один клиент «Шарпли и сын», задолжавший компании крупную сумму денег, оказался на грани банкротства. Когда слухи о разорении дошли до Харви, он отправился к этому человеку домой. Час был поздний, и Харви не мог получить долг наличными. Не желая уходить с пустыми руками, он взял в счёт долга единственную ценную вещь — картину Ренуара стоимостью 10 000 долларов.
Поначалу Харви собирался сразу же продать картину, пока не доказали, что он не тот кредитор, претензии которого надо удовлетворить в первую очередь. Но его так очаровала изящная манера письма и нежные, пастельные тона, что в нём возгорелось желание приобрести и другие полотна. Когда Харви понял, что картины не только хорошее размещение капитала, но ещё и очень нравятся ему, его коллекция и страсть к живописным шедеврам стали быстро расти. К началу 70-х годов в собрании Меткафа значились по одной картине Мане, Ренуара, Писарро, Утрилло и Сезанна и по две картины Моне и Пикассо, а также полотна многих признанных, но менее известных художников-импрессионистов. Теперь у него оставалось одно заветное желание — заполучить в свою собственность картину Ван Гога. И совсем недавно он чуть было не купил в галерее «Сотби-Парк Бернет» в Нью-Йорке
Ещё раньше, в 1966 году, ему не удалось приобрести на аукционе Кристи лот № 49
Третьей страстью Харви была его призовая коллекция орхидей. Он трижды становился победителем Весеннего цветочного шоу Новой Англии в Бостоне и дважды обошёл старого Хантера, занявшего лишь второе место.
Теперь Харви раз в год ездил в Европу. В Кентукки он создал прибыльный конезавод и любил посмотреть на своих лошадей на скачках в Лонгшампе и Аскоте. Также ему нравился Уимблдонский теннисный турнир — самый значительный, по его мнению, в мире. Харви всегда был не прочь совместить приятное с полезным: находясь в Европе, он заключал небольшие сделки, что позволяло ему добавлять суммы на счёт в одном из банков в Цюрихе. Откровенно говоря, нужды в швейцарском счёте не было, но Харви не мог отказать себе в удовольствии ещё разок лягнуть дядюшку Сэма.