С 1982 по 1984 гг. проходил службу по призыву в частях спецназа МВД СССР.
В университете был комсоргом курса, а также руководителем комсомольского оперативного отряда (дружинников). Вступил в партию, и оставался членом КПСС до ее запрещения в августе 1991 г.
В марте 1990 г. участвовал в избирательной кампании Сергея Бабурина на Съезд народных депутатов РСФСР.
После окончания ОмГУ несколько месяцев преподавал в нем.
В 1990–1993 гг. учился в аспирантуре юридического факультета, но затем, по совету Бабурина, поступил в аспирантуру Ленинградского (с 1991 г. — Санкт-Петербургского) государственного университета. Научным руководителем Грефа значился Анатолий Собчак, в мае 1990 г. избранный также председателем Ленсовета, а летом 1991 — мэром города.
С 1991 по март 1992 гг. — юрисконсульт комитета экономического развития и имущества администрации Петродворцовского района Санкт-Петербурга. С марта 1992 по октябрь 1994 гг. — председатель комитета по управлению имуществом — заместитель главы администрации Петродворцовского района Санкт-Петербурга.
В октябре 1994 г. был назначен заместителем председателя комитета по управлению государственным имуществом (КУГИ), директором департамента недвижимого имущества КУГИ Санкт-Петербурга.
В течение нескольких лет, до мая 2000 г., вместе с Путиным входил на общественных началах в консультационный совет немецкой компании по недвижимости St.Peterburg Immobilien und Beteiligungs AG (SPAG); в 2003 г. немецкая полиция обнаружила, что SPAG это «прачечная» русской мафии[214]
.В феврале 1997 г. был одним из идеологов» жилищно-коммунальной реформы в Санкт-Петербурге.
В июле 1997 г. был назначен первым заместителем председателя КУГИ Санкт-Петербурга. 2 сентября 1997 г. был назначен вице-губернатором — председателем КУГИ Санкт-Петербурга вместо убитого Михаила Маневича.
С сентября 1997 г. по май 1999 г. — член совета директоров государственного ОАО «Ленэнерго».
В январе 1998 г. был введен в состав коллегии Министерства государственного имущества РФ.
С апреля 1998 года — член совета директоров (представитель государства) ОАО «Морской порт Санкт-Петербург», контролировавшегося авторитетным бизнесменом Ильей Трабером.
12 августа 1998 г. был назначен первым заместителем министра государственного имущества РФ.
21 января 1999 г. был введен в состав коллегии представителей РФ в ОАО «Связьинвест».
26 июня 1999 г. был избран в совет директоров ОАО «Аэрофлот — Российские международные авиалинии».
С 1999 г. — председатель совета директоров ОАО «Международный аэропорт «Шереметьево».
С сентября 1999 по февраль 2001 г. — член коллегии представителей государства в ОАО АК «Транснефть».
В ноябре 1999 г. основал фонд «Центр стратегических разработок» (ЦСР) и стал председателем его попечительского совета. ЦСР занимался разработкой программы реформ первого срока президентства Владимира Путина.
В январе-марте 2000 гг. входил в состав избирательного штаба Путина на выборах президента РФ, был одним из его уполномоченных представителей по финансовым вопросам.
18 мая 2000 г. был назначен министром экономического развития и торговли РФ.
13 июня 2000 г. был включен в состав комиссии правительства РФ по военно-промышленным вопросам.
3 июля 2000 г. был назначен управляющим от РФ в Европейском банке реконструкции и развития (ЕБРР).
С июня 2000 г. — член совета директоров РАО «ЕЭС России».
С июля 2000 г. — член совета директоров ОАО «Роснефть» и до 2003 г. — председатель совета директоров ОАО «Роснефть».
18 августа 2000 г. был введен в состав совета директоров ОАО «Совкомфлот».
С августа 2000 г. — член комиссии при президенте по вопросам военно-технического сотрудничества Российской Федерации с иностранными государствами.
В сентябре 2000 г. утвержден заместителем председателя постоянного комитета Консультативного совета по иностранным инвестициям в России.
В августе 2001 г. был включен в состав правительственной комиссии по структурной реформе железнодорожного транспорта.
С января 2002 г. — заместитель председателя комиссии правительства РФ по реформе электроэнергетики.
С июля 2003 г. — заместитель председателя комиссии правительства РФ по административной реформе.
С мая 2004 г. — заместитель председателя правительственной комиссии по повышению результативности бюджетных расходов.
С июня 2004 г. — член Морской коллегии при правительстве РФ.
Был в плохих отношениях с премьер-министром Касьяновым, их конфликты — например, из-за пенсионной реформы или из-за предложения Грефа увеличить налогообложение сырьевых компаний — часто выливались в публичное пространство.
С сентября 2004 г. — член комиссии по вопросам координации деятельности федеральных органов исполнительной власти в Южном федеральном округе, созданной после террористического акта в Беслане.
В 2004 г. Греф выступил против слияния корпорацией «Газпром» и «Роснефть». Эту идею поддерживали тогдашние руководитель администрации президента Дмитрий Медведев и помощник президента Игорь Шувалов. Против неё выступал заместитель руководителя администрации президента Игорь Сечин.