Н. Каратаева вспоминает: «Если у нас бывали ссоры, Анатолий Дмитриевич иногда заявлял: „Я пойду к маме жить“. Он приходил к своей маме, а она всегда говорила: „Ты женился, Толя, и, пожалуйста, разбирайся со своей женой у себя дома, а ко мне с этим не ходи. Я не могу вставать на твою сторону и осуждать твою жену“. Я ей очень благодарна за это…»
Ещё одним предметом для конфликтов в семье нашего героя было его чрезмерное увлечение алкоголем. Об этом вспоминает ещё одна актриса Театра сатиры — Вера Васильева: «Появился у нас в театре буйный на выдумки, смелый и творчески необычайно деятельный актёр Женя Весник. Он тоже был молод, но быстро занял в нашем театре значительное положение. И всё вокруг него кипело. С Толей они крепко подружились, но по темпераменту Женя его перехлёстывал. Словом, к нашему с Надей Каратаевой ужасу, появилась в жизни Толи опасная приятельница — водочка. Тогда к такого рода злу относились проще и, кажется, само зло было менее трагичным, чем сейчас. Так или иначе, но у молодой жены Папанова появились основания для грусти».
Стоит отметить, что наш герой и Е. Весник были людьми одного поколения (Весник родился на 2,5 месяца позже Папанова — 15 января 1923 года). Оба они были фронтовиками, и оба были ранены. У них были общие взгляды на многие вещи, оба были беспартийными и никогда не участвовали в каких-либо группировках внутри родного театра. Короче, их дружба была предопределена множеством различных причин.
Увлечение нашего героя алкоголем было вызвано прежде всего тем, что в театре он был мало востребован как актёр. В то время как его жена уже считалась ведущей актрисой Театра сатиры, Папанов выходил на сцену в ролях, которые принято называть «Кушать подано». Всё это угнетало нашего героя. Перелом в его судьбе наступил в середине 50-х. Причин было две.
Во-первых, в 1954 году родилась дочка Лена, во-вторых, в 1955 году Папанов сыграл свою первую значительную роль — в спектакле «Поцелуй феи». После этого столичные театралы впервые заговорили о Папанове как о талантливом актёре, о том, что у него прекрасные перспективы на будущее. Именно в то время наш герой прекратил свои пьяные застолья. Как вспоминает Н. Каратаева: «Единственный серьёзный конфликт у меня с ним был из-за того, что он стал выпивать. Но у Анатолия Дмитриевича за такой внешней мягкостью скрывалась очень большая сила воли. И он как-то мне сказал: „Всё, я больше не пью“. И как отрезал. Банкеты, фуршеты — он ставит себе боржоми, в театре все знали, что Папанов не пьёт».
Стоит отметить, что и курить наш герой бросил таким же волевым способом вместе со своей женой.
Не менее трудно, чем в театре, складывалась актёрская судьба Папанова и в кинематографе. Первую свою крохотную роль в кино наш герой сыграл в 1951 году — режиссёр Г. Александров пригласил его сыграть адъютанта в фильме «Композитор Глинка». Затем в течение нескольких лет Папанов не был востребован в кино, пока в 1955 году молодой тогда режиссёр Э. Рязанов не пригласил его попробоваться на роль директора заводского Дворца культуры Огурцова в картине «Карнавальная ночь». Однако сыграть эту роль нашему герою так и не довелось. Как вспоминает сам Э. Рязанов: «Анатолий Дмитриевич мне тогда не понравился: он играл слишком „театрально“, в манере, которая, может быть, и уместна в ярко-гротескном спектакле, но противоречит самой природе кино, где едва заметное движение брови уже более чем выразительная мизансцена. Таким образом, наша первая встреча с Папановым для меня прошла бесследно, а для него обернулась очередной душевной травмой. Кинематограф в пору наносил ему такие травмы постоянно».
Между тем, потерпев неудачу на кинематографическом фронте, Папанов познал победу на театральной сцене. В конце 50-х в репертуаре Театра сатиры был принят «Дамоклов меч» Назыма Хикмета. Нашему герою в нём досталась центральная роль — Боксёра. Когда труппа театра узнала об этом назначении на роль, то многие откровенно удивились. Им казалось, что у Папанова без грима, наклеенных усов или накладных ушей и шеи живой человек на сцене не родится. После этого в своих способностях сыграть эту роль стал сомневаться и сам Папанов. Однако режиссёр настоял и спектакль состоялся. Отмечу, что в момент работы над этой ролью Папанов брал уроки бокса у чемпиона Европы по боксу Ю. Егорова.
«Дамоклов меч» имел огромный успех у зрителей и круто изменил творческую судьбу нашего героя. После него на Папанова всерьёз обратили внимание кинематографисты. Например, тот же Э. Рязанов. В 1960 году он задумал снимать фильм «Человек ниоткуда» и на роль Крохалёва пригласил Папанова. При этом режиссёру пришлось приложить много сил, чтобы уговорить актёра сниматься. К тому времени Папанов полностью уверился в том, что он не «киногеничен», и сниматься наотрез отказывался. Чтобы убедить его в обратном, Рязанову пришлось буквально валяться у него в ногах и чуть ли не за шиворот втягивать его в кинематограф. В конце концов сопротивление было сломлено.