Иван Григорович родился в Петербурге в семье морского офицера из потомственных дворян. Детские годы провел в Ревеле, где учился – удивительное совпадение! – в одном классе с еще двумя будущими морскими знаменитостями: Владимиром Бэром, будущим командиром крейсера «Варяг», и Евгением Егорьевым, будущим командиром крейсера «Аврора». В 18 лет поступил в Морской кадетский корпус в Петербурге, тот самый, на котором теперь установлены мемориальные доски с перечислением имен будущих героев российского и советского флотов. Потом долго плавал на разных кораблях, участвовал во многих кампаниях, неоднократно был награжден.
В 1896 году Григоровича отправили военно-морским атташе в Лондон, где ему пришлось также надзирать за строительством заказанных Россией броненосца «Цесаревич» и крейсера «Баян». Во главе этого «Цесаревича» он и отправился потом на войну с Японией. Она закончилась бесславно для России, однако сам Григорович и его корабль сражались героически. Во время внезапного нападения японцев на Порт-Артур «Цесаревич» был подорван на рейде, но остался на плаву и всю ночь стойко отражал атаки неприятеля, а его капитан был контужен. Затем «Цесаревичу» удалось прорваться в Циндао, а позднее этот корабль участвовал в оказании помощи населению разрушенного страшным землетрясением итальянского города Мессина. Многие историки того времени считали, что, несмотря на неудачу России в войне с Японией, сам Григорович был достоин наивысших похвал. Один из его современников писал: «Энергия и распорядительность Ивана Константиновича творят чудеса… Флот существует, и заслуга в том Григоровича бесспорна».
После войны с Японией Григоровича, уже ставшего адмиралом, назначил начальником штаба Черноморского флота и портов Черного моря. 14 мая 1906 года он был чуть не убит террористами. На параде в Севастополе они бросили в него бомбу, Григорович был контужен в голову. Затем его перевели на Балтику, в порт Либаву. Тогда там вдруг появились странные матросы, которые выходили из казармы и шли на службу с клетками с белыми мышами. Местные жители с недоумением качали головами. Но то были члены созданного Григоровичем первого в России учебного отряда подводного плавания. Мыши подводникам были нужны, чтобы определять под водой пригодность воздуха для дыхания, поскольку специальных приборов тогда еще не было. Григорович одним из первых понял важнейшую роль будущей подводной войны и развернул потом в России строительство подводных лодок.
Организаторские таланты и невероятная трудоспособность Григоровича были замечены наверху, он был назначен сначала заместителем морского министра, а потом и министром. Это была невероятно тяжелая и сложная в те времена должность – после войны с Японией престиж флота упал, его материальная часть оказалась в жалком состоянии и разорена, офицеры деморализованы, а матросы уже заражены революционной пропагандой. Потребовались титанические усилия, чтобы навести порядок, реорганизовать флот, приступить к строительству новых боевых кораблей, избавить министерство и штабы от бездельников и интриганов. Благодаря усилиям нового министра накануне Первой мировой войны русский флот имел уже 9 линкоров, 14 крейсеров, 71 эсминец, 23 подлодки, а в годы войны пополнился еще 9 линкорами, 29 эсминцами и 35 подлодками. Были созданы лучшие в мире эсминцы типа «Новик» и линкоры типа «Севастополь», первые в мире тральщики. В результате и через 30 лет в начале Второй мировой войны, основу советского флота составляли корабли, построенные еще Григоровичем. Гордый адмирал создал поистине непобедимый флот, и если бы не катастрофа 1917 года, то военно-морские силы России не имели бы равных в мире.
Как только к власти пришло Временное правительство, оно уволило доблестного адмирала и министра в отставку. Григорович мог сразу покинуть Россию, но, даже оскорбленный, не захотел этого сделать. Большевики потом не нашли ничего лучшего, как дать адмиралу унизительную работу в Морской исторической комиссии со скудным продовольственным пайком. Суровой зимой 1920 года опытнейшему флотоводцу, бывшему министру флота приходилось подрабатывать на жизнь в Петрограде пилкой и колкой дров. Помогали верные матросы, которые таскали своему прежнему голодающему командиру картошку и сухари, что по тем временам было вовсе не безопасно.
Григорович тяжело заболел, ему требовалось сложная операция, и в 1924 году советское правительство милостиво разрешило ему выехать за границу для лечения. Он уехал во Францию и домой уже не вернулся. Перед смертью Григорович завещал, чтобы, когда времена изменятся, его погребли в Петербурге, в семейном склепе, рядом с могилой горячо любимой жены.