После Великой депрессии и Второй мировой войны последовала коренная переоценка ролей государства и рынка – «звездный час социал-демократии», по выражению Шери Берман. Социал-демократы, выступавшие и против классического либерализма образца XIX века, и против механистического детерминизма, характерного для ортодоксального марксизма, рассматривали себя как сторонников «цивилизованного капитализма», пользуясь термином австралийского историка Бида Найрна.
Какое бы воплощение социал-демократического общественного идеала мы ни взяли – Folkhemmet («дом народа») в Швеции, реформы, вдохновленные Бевериджем с его отчетом в Великобритании, или Новый курс Ф. Д. Рузвельта, – на рынок и деловое предприятие всегда возлагались большие надежды, но они всегда были подчинены соображениям общественной справедливости. Кроме того, руководствуясь социал-демократическим идеалом, правительства не ограничивались тем, что управляли макроэкономикой по кейнсианским рецептам и проводили социальную политику, создавая государство всеобщего благосостояния. Помимо этого, они также инвестировали в инфраструктуру, необходимую для процветания общества.
Теоретической основой для усиления государственного вмешательства в экономику было развитие микроэкономики, в частности, появление теории кризисов (провалов) рынка. В 1920-х годах А. С. Пигу сформулировал концепцию «внешнего эффекта», которая была призвана теоретически обобщить очевидные негативные последствия промышленного производства, такие как загрязнение воздуха. Экономисты по-прежнему прибегают к теории Пигу. Ее используют для обоснования таких мер экономической политики, как углеродный налог, цель которого – сократить чрезмерные выбросы углекислого газа в атмосферу.
В 1930-х годах Джоан Робинсон и Эдвард Чемберлин независимо друг от друга разработали теорию монополистической конкуренции, расширив предшествующий анализ рыночных структур, таких как монополия (господство на рынке одного продавца) и дуополия (присутствие двух продавцов). Благодаря Джону фон Нейману и Оскару Моргенштерну в 1930–1940-х годах возникла теория игр, а затем Джон Нэш разработал важнейшее понятие равновесия, что позволило придать строгие основания анализу рынков, не укладывавшихся в стандартную конкурентную модель.
Современные теории информации и неопределенности, также основанные на работе фон Неймана и Моргенштерна, вскрыли целый ряд причин, по которым рыночные трансакции могут приводить к неоптимальным для общества результатам. Классическим примером служит проблема «лимонов», проанализированная Джорджем Акерлофом. Согласно Акерлофу, резкое снижение стоимости нового автомобиля, едва покинувшего демонстрационный зал, объясняется тем, что для следующего покупателя высока вероятность под видом почти нового автомобиля приобрести «лимон», то есть автомобиль со скрытыми, но существенными дефектами. Поскольку надежных способов выявить такие «лимоны» не существует, владельцы хороших автомобилей не захотят выставлять их на продажу по слишком низкой цене, действующей на рынке, и в результате возникнет устойчивое равновесие, при котором на продажу в качестве почти новых автомобилей будут поступать только «лимоны». Подобные проблемы «асимметричной информации» стоят особенно остро на рынках страхования, где они известны как «неблагоприятный отбор».
Все эти возможные ситуации были объединены в категорию «провалов рынка». Представление, что государство должно активно исправлять возникающие провалы рынка, превратилось в оправдание для широкого набора государственных мероприятий. Отсюда в первую очередь следовало, что государство или государственные предприятия должны взять на себя предложение ряда товаров и услуг. Предоставление государством услуг здравоохранения, к примеру, можно обосновать ограниченностью рынков страхования. Государственная собственность на коммунальную инфраструктуру объясняется необходимостью противодействовать монополии и олигополии.
Как ни парадоксально, но даже венец неоклассической экономической теории, теорема Эрроу и Дебре о существовании и оптимальности конкурентного общего равновесия, косвенно служила основанием для теории провала рынка. Эрроу и Дебре показали, что если для каждого из возможных товаров в каждый возможный момент и в каждом возможном месте при любых возможных случайных состояниях мира существует конкурентный рынок, то возникающее на нем конкурентное распределение ресурсов не может быть улучшено для всех участников. Но это очень большое «если».