Во время учебы в Щепкинском училище в начале 50-х он влюбился в свою однокурсницу Лену, и в самом конце обучения они поженились. Их распределили в Красноярский театр, куда они приехали в 1955 году. Вскоре у них родились дочки-двойняшки. Однако жизнь у молодых не задалась. Оба играли в массовках и с трудом сводили концы с концами. Перфилов еще периодически снимался в кино в ролях разного рода бандитов и негодяев, но роли были настолько крохотные, что серьезного достатка в бюджет семьи не приносили. А потом случилось неожиданное: жене Перфилова стали давать в театре главные роли. В семье наконец появились деньги, однако счастья молодым они не принесли. Вскоре до Перфилова дошли слухи, что его красавицу-жену часто видят в компании секретаря красноярской комсомольской организации.
Поначалу Перфилов не придавал значения этим слухам, но, когда об этом стал говорить чуть ли не весь город, его терпение лопнуло. Он вызвал жену на откровенный разговор, и та призналась ему, что полюбила другого. Как ни больно было Перфилову, он не стал устраивать скандала. Собрал вещи и уехал из Красноярска. Ему тогда предложили очередную роль на Киностудии имени Довженко (в «Сказке о Мальчише-Кибальчише»), и он решил остаться в Киеве. Отныне этот город станет для Перфилова родным: в нем он проживет последние 27 лет своей жизни. Что касается его первой жены, то она вскоре переехала вместе с новым мужем в Москву и устроилась во МХАТ. Там и проработала до самой пенсии.
В Киеве Перфилов устроился в труппу Театра киноактера. Однако главные роли практически не играл, перебиваясь массовками либо ролями второго плана. Зато много и часто снимался в кино. И хотя и там роли у него были не масштабнее театральных, однако благодаря частому появлению на экране к Перфилову пришла слава. Правда, весьма специфическая. Он продолжал играть в кино отрицательных героев, и этот шлейф тянулся за ним даже за пределами съемочной площадки. Когда Перфилова узнавали на улице, он нередко слышал за своей спиной злорадный шепоток: «Во-о, опять кого-то убивать пошел». Сам актер вспоминал об этом так: «Когда я сыграл очередную отрицательную роль, появилась статья, в которой было написано, что наконец-то на студии Довженко появился актер, блистательно играющий негодяев! Помню, как в актерском отделе услышал разговор. Диспетчеру звонила какая-то ассистентка, а та переспрашивала: «На какую роль тебе актера? Бросил семью? Пьет? Еще и в банде? Ну Перфилов, кто же еще!»
В те годы Перфилов и в самом деле в чем-то соответствовал своим экранным героям. Например, много пил, пытаясь таким образом заглушить боль от расставания с первой женой. По словам актера: «Я до сих пор удивляюсь, как мне господь помог завязать, я ведь пил по-черному!..» Но та «завязка» случится много позже, а пока Перфилов практически все свое свободное время отдавал компаниям, где устанавливал рекорды по количеству выпитых бутылок водки. Но едва его утверждали на очередную роль, как все друзья-собутыльники мгновенно выгонялись и Перфилов с головой окунался в работу. Он был из тех людей, кто всегда мог ради любимого дела обуздать свои дурные наклонности.
Со своей второй женой Валентиной Перфилов познакомился на Крещатике. Он возвращался домой после очередной гулянки в ресторане, увидел симпатичную девушку и решил познакомиться. Та, узнав в подошедшем популярного киноактера, с радостью согласилась прогуляться по вечернему Киеву. А когда на следующее утро Перфилов проснулся с новой знакомой в одной постели, он сделал ей предложение. Девушка ответила согласием. В этом браке у них один за другим родились трое сыновей.
Этот союз продлился до начала 80-х. После чего в жизни Перфилова случилась новая любовь – самая сильная и последняя. Новое увлечение Перфилова звали Верой, она была младше его на 26 лет. Они познакомились на почте, где тогда работала Вера. Перфилов периодически заходил туда, чтобы позвонить по межгороду по поводу участия в съемках очередных фильмов. Во время этих посещений он обратил внимание на молодую ученицу телеграфиста и однажды решился с ней познакомиться. Причем способ выбрал оригинальный. Собрал кипу телеграфных бланков и написал на них длинное письмо, в котором честно рассказал о своей жизни. В то время его брак со второй женой уже распался и Перфилов жил один. Он был абсолютно одинок и совершенно не представлял, как ему жить дальше. По словам Веры: «Я прочитала это письмо дома и была потрясена. Это был крик души. Лева писал, что хоть и живет среди людей, но совершенно одинок. Ему не хватало тепла. Он больше всего любил мать, но она прожила трудную жизнь и была жестковатой женщиной, не понимала «телячьих нежностей»… Мое сердце екнуло – я в то время разводилась, осталась одна с ребенком и прекрасно его понимала…»