Происходил из родовитой дворянской семьи. В 20-летнем возрасте, окончив с золотой медалью Императорское училище правоведения, начал службу при прокуроре С.-Петербургского окружного суда. Некоторое время занимался расследованием преступлений, а затем стал секретарем прокурора. В 1885 направлен в Нижегородский окружной суд, где занял должность товарища прокурора, а весной 1887 переведен на такую же должность в С.-Петербургский окружной суд. Здесь он прослужил три года. Одно из самых первых поручений, данных ему в столице, — это присутствие при казни «Первомартовцев» — А. И. Ульянова и его товарищей, приговоренных к повешению. Позднее Щегловитов рассказывал, что воспринял это поручение как «чрезвычайно тяжелое».
Постепенно И. Г. Щегловитов приобретал опыт и повышался в чинах. В ноябре 1887 стал надворным советником. В эти же годы он активно сотрудничает в газетах и журналах, публикуя статьи на правовые темы. В начале 1890-х Щегловитов появляется за обер-прокурорским столом в Правительствующем сенате, затем заведует отделением в Министерстве юстиции, а в 1893 становится юрисконсультом. В 1894 ему доверяют должность прокурора С.-Петербургского окружного суда, а в следующем году — товарища прокурора С.-Петербургской судебной палаты.
В 1897 И. Г. Щегловитов назначается товарищем обер-прокурора уголовного кассационного департамента Правительствующего сената, а в 1900 — вице-директором 1-го департамента Министерства юстиции. В апреле 1903 он занял высокий пост оберпрокурора Сената. В 1905 Иван Григорьевич выполнял прокурорские обязанности в Особом присутствии Правительствующего сената по делу Каляева, убившего великого князя Сергея Александровича.
В апреле 1905 Щегловитов становится директором 1-го департамента Министерства юстиции, а в феврале 1906 — товарищем министра юстиции. 24 апреля 1906 он назначается министром юстиции и генерал-прокурором.
В июле 1915 под давлением демократических кругов император вынужден был отправить И. Г. Щегловитова в отставку с поста министра юстиции (сохранив ему остальные должности). В январе 1917 Шегловитову довелось стать последним царским председателем Государственного совета. Одновременно с этим назначением он получил и орден Св. Александра Невского.