Первое время он находился непосредственно при гетмане, занимаясь воспитанием его детей, а затем Самойлович пожаловал его званием генерального есаула, которое у казаков приравнивалось к заместителю гетмана. В этой должности Иван Степанович несколько раз отправлялся в Москву, где после смерти царя Федора и ссылки Артамона Матвеева в Белоозеро, а затем и стрелецкого бунта 1682 года, сумел расположить к себе фаворита царевны Софьи князя Голицына. Большого труда Мазепе с его умом и образованностью, это не составило, тем более, что князь, как и сам Иван Степанович, тяготел к Польше.
Ходили слухи, что к смещению Самойловича с гетманского поста приложил руку и сам Мазепа, но достоверных исторических данных на этот счет у историков не имеется. Тем не менее, после обвинения Самойловича в неудаче первого похода на Крым, по протекции Голицына новым гетманом был избран Мазепа.
Конец ХУ11 века в Малороссии с приходом его к власти ознаменовался завершением продолжавшейся на протяжении нескольких десятилетий острой борьбы между казацкой чернью и значными казаками. Начиная с гетманства Выговского, чернь, которую поддерживало и поспольство, постепенно и неуклонно проигрывала в этом противостоянии. С пожалованием старшине имений, дворянских титулов, наделением значных имениями, их доходы возрастали, а власть укреплялась. Введения института бунчужных товарищей фактически закрыло для выходцев из черни возможность продвижения на старшинские должности. Все большее значение даже среди самой казацкой верхушки приобретали те, кто считал себя выходцами из польской и новой малорусской шляхты. Еще Выговский стал окружать себя сердюками и польскими наемниками, после него эту традицию продолжали и Брюховецкий и Самойлович. Не отставал от них и Мазепа. Уже к 1696 году он создал из полков сердюков личную гвардию, запретил принимать в казаки представителей поспольства, впервые ввел в Малороссии панщину, то есть разрешил старшине официально обращать казаков в свое подданство и отнимать у них земли. В этом он находил полную поддержку у московского правительства, которое стремилось не допустить, чтобы тягловые крестьяне убегали на Дон или на Запорожье. Для охраны гетмана был даже выделен специальный стрелецкий полк.
Подобно предыдущим гетманам, Мазепа не забывал и свою родню, приблизив к себе сыновей своих сестер Войнаровского и Обидовского. Мать его под именем инокини Магдалины сделалась настоятельницей киевского Фроловского монастыря.
Легко вообразить как относились казаки, полвека не знавшие панщины (барщины), к нововведениям гетмана. Однако, несмотря на возбуждаемое им в простом народе недовольство, Мазепа имел прочную поддержку в Москве. Даже в момент падения царевны Софьи, а вместе с ней и своего покровителя князя Голицына, он в 1689 году волею судьбы оказался в столице и тут же поспешил войти в доверие к юному Петру. Он стал просить о направлении в Малороссию большего числа царских ратных людей, назначить перепись казацкого реестра, укрепить власть воевод на местах против выступлений народных масс. Эти предложения гетмана отвечали интересам московского правительства, поэтому вызывали у царского окружения полное одобрение.
Несмотря на свое тяготение к польским, а точнее, к западным порядкам, Мазепа верно служил Москве. Еще в начале своей гетманской карьеры, он приложил много усилий для того, чтобы второй крымский поход оказался более удачным, чем первым. По его предложению 112 — тысячная русская армия во главе с Голицыным, выступила в степь в конце февраля 1689 года, когда угрозы степных пожаров не было. В мае передовые части князя вступили в бои с крымцами, оттеснив их к Перекопу. Казаки Мазепы вели не только деятельную разведку, но и являлись боевым охранением русской армии.
Хотя Голицын и не решился в условиях наступившего знойного лета переходить за Перекоп, вины Мазепы в этом не было. Он сделал для успеха похода все, что мог. Именно так это и было оценено в Москве, тем более, что правительница Софья встречала князя в столице, как настоящего триумфатора.
В обоих азовских походах 1695–1696 годов юного царя Петра, малороссийские казаки и сам Мазепа проявили мужество и отвагу, что царь Петр никогда не забывал. Молодой царь вообще относился очень хорошо к тем, кто сражался вместе с ним под Азовом, даже прощая им довольно серьезные прегрешения.