Детские и школьные годы Ивана были неотделимы от бурных революционных событий, которые происходили в то время в стране и в его родном городе. Так случилось, что он воспитывался сестрой — врачом по профессии. В ее доме он приобщался к культуре, знаниям в самых различных областях, иностранным языкам. Одновременно ему импонировали взгляды и убеждения двух старших братьев, которые, безоговорочно и с энтузиазмом приняв советскую власть, активно участвовали в политической жизни послереволюционного Закавказья и со временем стали работать в органах ВЧК — ОГПУ, что впоследствии определило и выбор самого Ивана. Окончив экономический техникум, он сменил ряд профессий, находился на комсомольской и партийной работе.
В 1930 году Иван Атаянц вслед за старшими братьями переезжает из Гянджи в Москву и поступает на работу в Экономическое управление ОГПУ. Через некоторое время молодые сотрудники ОГПУ выдвигают Ивана Агаянца на выборную должность: в течение нескольких лет он руководит деятельностью их комсомольской организации.
Напряженная работа не стала помехой для совершенствования и приобретения знаний в области исторических и юридических наук, литературы и искусства. Иван Атаянц обладал исключительной способностью к иностранным языкам, свободно владел французским, персидским, турецким и испанским, достаточно хорошо знал английский и итальянский.
В 1936 году энергичного молодого сотрудника переводят в аппарат внешней разведки, а уже в 1937 году направляют на оперативную работу во Францию. В парижской резидентуре он находился сначала под прикрытием сотрудника торгпредства, а затем — заведующего консульским отделом посольства СССР.
Возвратившись в Москву в конце 1939 года после успешной командировки, Агаянц становится начальником отделения, а вскоре — заместителем начальника одного из подразделений 5-го (разведывательного) отдела ГУГБ НКВД СССР (внешней разведки).
В начале 1940 года Агаянц направляется резидентом в Иран. Обстановка в этой стране в то время была сложной. Благодаря умелой организации широкого комплекса разведывательных мероприятий, большой личный вклад в которую внес Агаянц, резидентура успешно справилась со стоявшими перед ней задачами.
Агаянц лично участвовал в проведении разведывательных операций, порой связанных с риском для жизни, проявлял незаурядные способности в вербовочной работе. В документах того времени, в частности, говорилось: «Важная оперативная разведывательная информация, получаемая советскими разведчиками в Иране, сыграла существенную роль при принятии военным командованием и руководством страны тех или иных политических и военно-стратегических решений».
Сложная и ответственная работа выпала Агаянцу и его сотрудникам накануне и в ходе Тегеранской конференции руководителей трех союзнических государств, состоявшейся в конце 1943 года. Советской разведке во главе с ее главным резидентом в Иране удалось переиграть Отто Скорцени, готовившего покушение на лидеров СССР, США и Великобритании, и разрушить замыслы террористов.
После Ирана, в 1946 году, Иван Иванович вновь выехал в Париж, теперь уже в качестве резидента. Однако по состоянию здоровья командировка не была продолжительной (дал о себе знать хронический туберкулез, которым этот энергичный и жизнестойкий человек страдал с середины 1930-х годов).
В то время в Париже проходила вторая сессия совета министров иностранных дел СССР, США, Великобритании и Франции, готовившая проекты договоров для предстоящей мирной конференции. Ивану Ивановичу пришлось организовывать работу по оказанию помощи советской делегации, которую возглавляли В. М. Молотов и А. Я. Вышинский.
Парижская резидентура под руководством Агаянца активизировала работу: был расширен круг источников за счет хорошо осведомленных людей, приобретены новые ценные агенты и доверительные связи. Сотрудникам резидентуры удалось добыть секретный вариант «плана Маршалла», который дал возможность советской делегации строить свою работу с учетом политических целей США в Европе.
Только этих результатов, достигнутых за время работы Агаянца во главе резидентуры, хватило бы для того, чтобы оценить его как крупного разведчика, внесшего большой вклад в укрепление позиций СССР на международной арене.
С 1948 года Агаянц находился на руководящих должностях в центральном аппарате внешней разведки: был начальником Управления Комитета информации, начальником кафедры Высшей разведывательной школы. В 1959 году Сахаровский предложил ему возглавить Службу активных мероприятий. Во второй половине 1960-х годов газета «Нью-Йорк геральд трибюн» сообщала, что ЦРУ направило в конгресс США доклад, в котором, в частности, указывалось, что «осуществлению многих оперативных мероприятий американских спецслужб активно мешает деятельность управления советской внешней разведки, возглавляемого генералом Агаянцем».
16 декабря 1965 года Ивану Ивановичу Аганцу было присвоено звание генерал-майор. В 1967 году он был назначен заместителем начальника Первого главного управления КГБ при СМ СССР.