Идею этого фильма придумал режиссер Георгий Данелия. Случилось это следующим образом. Был у него друг — Александр Серый, с которым они в 1959 году вместе окончили Высшие режиссерские курсы. Однако если Данелия сразу после курсов сумел удачно устроить вою судьбу в кинематографе, то Серому не повезло — он угодил в тюрьму. Случай проходил по разряду бытовых: Серый из-за ревности ударил некоего мужчину топором по голове и сделал его инвалидом. За это и получил солидный тюремный срок. Однако отсидел всего пять лет, выйдя на волю с помощью родственников (его мама была известным профессором, работала в Академии наук СССР). Девушка Марина, из-за которой Серый и угодил за решетку, его дождалась и стала его женой. В 1961 году у них родилась дочь Ольга.
Кстати, тот человек, которого Серый сделал инвалидом, напомнил о себе вскоре после освобождения режиссера. Как-то вечером в дверь Серого позвонили. Он открыл и успел заметить в дверном проеме силуэт человека. В следующую секунду раздался хлопок, и в режиссера угодила стрела из гарпунного ружья. Только чудо спасло Серого от смерти. После хлопка он инстинктивно дернулся, и стрела, летевшая точно ему в лицо, лишь пробила щеку и задела ухо. А неизвестный скрылся так же внезапно, как и появился. Была версия, что это сделал давний «соперник» режиссера (или кто-то из его друзей), но доказать это так и не смогли.
Тем временем карьера Серого в кино на какое-то время застопорилась. К серьезной работе его не допускали, предпочитая держать на подхвате. Но постепенно лед вокруг него начал таять, и он получил возможность заниматься любимым делом. Правда, пока всего лишь в соавторстве. Так, вместе с Анатолием Бобровским он снял детектив «Выстрел в тумане» (1964), а с Константином Жуковым — социальную драму «Иностранка» (1966). Последняя картина едва не поставила крест на дальнейшей режиссерской судьбе Серого. Критика обвинила ленту в малохудожественности и потакании дурным вкусам. И от режиссуры Серго отлучили. Впору было менять профессию, но тут руку помощи протянул бывший однокашник Серого по режиссерским курсам Георгий Данелия. Он задумал написать сценарий, по которому его друг поставил бы хорошую комедию. Причем, учитывая, что с тюремными нравами Серый был знаком не понаслышке, сюжет будущего фильма решено было увязать с неволей.
Писать сценарий Данелия стал не один, а пригласил к себе в соавторы молодую, но уже известную писательницу 33-летнюю Викторию Токареву. Познакомились они в 1967 году, когда на «Мосфильме» режиссер Алексей Коренев снимал фильм по ее рассказу «День без вранья» (фильм назывался «Урок литературы»). Данелия и Токарева сблизились настолько, что в киношной тусовке упорно ходили слухи об их любовном романе. Даже тогдашняя супруга режиссера, актриса Любовь Соколова, прекрасно знала об этом, но предпочитала молчать. Видимо, как результат этого романа и явился на свет сценарий под названием «Рецидивисты».
28 января 1970 года Данелия пишет письмо на имя директора объединения «Время» киностудии «Мосфильм» К. Ширяеву, в котором сообщает: «В настоящее время я и Виктория Токарева работаем над сценарием «Рецидивисты». Беру на себя полную ответственность за производственное осуществление и идейно-художественное качество фильма…»
Справедливости ради стоит отметить, что в первоначальном варианте сценарий был мало похож на то, что зритель затем увидит на экране. В качестве главного героя в нем выступал майор милиции Леонов, в голову которого приходит весьма оригинальная идея: используя свое сходство с вором по прозвищу Доцент, он намеревался под его видом сесть в тюрьму и попробовать перевоспитать самых трудных уголовников. По сценарию, «трудных» было четверо: фальшивомонетчик Миллиметр (на эту роль предполагалось пригласить Ролана Быкова), профессиональный альфонс и многоженец (Юрий Никулин), автомобильный жулик Пижон (Андрей Миронов) и вор Косой (Савелий Крамаров). Вместе с ними Леонов-Доцент совершал побег из тюрьмы (в цистерне с раствором) и начинал процесс «перековки». К примеру, вот как это выглядело с альфонсом. Зная, что тот очень любит животных, Леонов помогает ему выкрасть из зоопарка тигренка с тем, чтобы затем продать его дрессировщику. Но эта акция срывается, и тогда «Доцент» предлагает убить животное. Однако альфонс не позволяет ему сделать это: ночью он возвращает тигренка обратно в зоопарк.