В детстве он был свидетелем того, как помещик Лоренцов изнасиловал его близкую родственницу, и дед ходил в Феодосию жаловаться, но вернулся без всякого результата. Андрей, рассуждая чисто по-детски, мечтал убить Лоренцова за его преступление. Со временем жажда мести прошла, но данный эпизод сыграл немалую роль в формировании характера Желябова. У него укрепилось жажда справедливости, стремление защищать слабых и угнетенных от насилия со стороны имеющих власть.
Нелидов, в имении которого служили родители Андрея, обратил внимание на смышленого мальчика и помог определить его сначала в приходское, а затем в уездное училище. Оно в 1863 году было преобразовано в гимназию. Так, вопреки правилам, сын крепостного крестьянина стал гимназистом. «Он был страшный шалун, но прекрасный товарищ и учился очень хорошо», – писал Л.А. Тихомиров.
Закончив гимназию с серебряной медалью, Андрей Желябов поступил на юридический факультет одесского Новороссийского университета. Ему приходилось зарабатывать на жизнь в качестве домашнего учителя. С.А. Мусин-Пушкин, в семье которого он преподавал летом 1870 года, отозвался о нем: «Юный, пылкий, откровенный, безупречно честный, он быстро располагал к себе людей».
Желябов разделял революционные идеи, бродившие в студенческой среде. Осенью 1871 года он стал одним из организаторов волнений в университете. Поводом для них послужило несправедливое обвинение профессором одного из студентов в том, что тот спит на лекции и грубо высказывается в адрес преподавателя. Желябов был выслан в Керчь, откуда вскоре переехал в Феодосию. Лишь в 1873 году он вернулся в Одессу и занялся земской культурно-просветительской деятельностью, которую считал наиболее полезной для блага народа.
Одесская группа тайного общества «чайковцев» постаралась привлечь его в свои ряды. На это предложение Желябов не дал сразу ответа, взяв три дня на размышление. Ведь от него зависело благосостояние семьи (отец, мать, братья, сестры), а причастность к нелегальной организации грозила не только увольнением со службы, но и более суровыми репрессиями. И все-таки он принял положительное решение.
Большинство «чайковцев» считали своей главной задачей вести пропаганду социалистических идей среди студентов и рабочих. Как признавался Желябов: «Я насилия в то время не признавал, политики касался весьма мало, товарищи еще меньше». Он женился на Ольге Семеновне Яхненко (дочери видного одесского городского общественного деятеля и сахарозаводчика); у них родился сын Андрей.
Во второй половине 1874 года большинство членов одесской группы «чайковцев» арестовали; в их числе был и Желябов. Улик против него оказалось мало, и 18 марта 1875 года его освободили до суда под залог в 3 тысячи рублей, внесенный его тестем. С женой и ребенком он стал жить на хуторе Миюк Феодосийского уезда, желая сблизиться с крестьянами и начать среди них пропаганду.
Он работал в поле по 12–16 часов в сутки, после чего наваливалась такая усталость, что ни одна мысль не шла в голову. Ему стала понятна главная причину консерватизма трудового люда: «Пока приходится крестьянину так истощаться, переутомляться ради приобретения куска хлеба… нечего ждать от него чего-либо другого, кроме зоологических инстинктов и погони за их насыщением».
Полиция не оставляла его в покое. У нее появились новые свидетельства о его причастности к революционному движению. 3 июля 1877 года Желябова арестовали и доставили в Петербург в Дом предварительного заключения. И вновь не нашлось убедительных доказательств его причастности к государственным преступлениям. На процессе 193-х в январе 1878 года он был оправдан.
В то время он не был членом «Земли и воли». Аграрную часть ее программы он разделял, признавая экономическое освобождение крестьянства за существеннейшее благо. Однако курс на крестьянское восстание категорически отвергал, считая, что всеобщий бунт вызовет лишь хаос и зверство. Летом 1878 года он поработал бахчеводом в Подольской губернии, а осенью вернулся в Одессу, желая вновь заняться революционной деятельностью. Жена требовала заботиться о благосостоянии семьи. Он счел это погоней за мещанским счастьем. Спокойная семейная жизнь его не устраивала, и в конце 1878 года он расстался с женой, оставив ее и сына на попечении тестя.