Соотношение между реакцией и подкреплением может быть «растянуто» до тех пор, пока не станет совершенно невыгодным. Так происходило во многих системах стимулирования, например при сдельной оплате труда в промышленности XIX века. Такой график порождает опасно высокий уровень интенсивности труда, и заинтересованные в благосостоянии работников обычно выступают против него. Однако он небезызвестен и в повседневной жизни. Писатель, зарабатывающий на жизнь написанием статей или рассказов, работает по графику с фиксированным соотношением, и ему часто известен один результат: за завершением статьи часто следует похожий на депрессию период, в течение которого он не может начать новую. Это состояние иногда называют «абулией», определяя его как отсутствие силы воли или невротическую неспособность действовать, и это часто называют источником проблемы, несмотря на то, что такой график производит аналогичный эффект у самых разных видов.
Особенно интересны графики с переменным соотношением, в которых подкрепление происходит после определенного среднего числа ответов, но при этом нельзя предсказать вероятность подкрепления при следующем ответе. Считается, что благоприятный опыт, в котором среднее значение медленно увеличивается, вырабатывает силу воли, а также большое количество психической энергии, или либидо. Считается, что Гитлер затянул Вторую мировую войну почти на год «невероятным проявлением силы воли, которой так не хватало в Германии», но его поведение (и, следовательно, его «силу воли») можно убедительно объяснить чрезвычайно благоприятной программой (благоприятной, разумеется, для Гитлера, катастрофической для всего мира), в которой каждый из серии подкрепляющих успехов требовал все больших усилий. (Такая интерпретация исторического события едва ли может быть более достоверной, но это лучшее объяснение, чем сила воли.)
Все системы азартных игр основаны на графиках подкрепления с переменным уровнем, хотя их влияние обычно приписывается чувствам. Например, часто говорят, что люди играют в азартные игры из-за азарта, но азарт очевидно является побочным продуктом. Также бытует мнение, что люди играют в азартные игры, «чтобы удовлетворить свое чувство владения, доминирования, победы» – несмотря на то, что азартные игроки почти всегда в конечном итоге проигрывают. Это несоответствие объясняется тем, что азартного игрока, который разоряет себя и свою семью, называют «компульсивным» или «патологическим», его «иррациональное» поведение приписывается болезни. Его поведение «ненормально» в том смысле, что не каждый человек реагирует на возникающие обстоятельства с такой же самоотдачей, но дело просто в том, что не каждый подвергался воздействию программы, посредством которой крайне неблагоприятное соотношение становится эффективным. Тот же график переменного соотношения влияет на тех, кто изучает, ищет, изобретает, проводит научные исследования, сочиняет произведения искусства, музыки или литературы, а в этих областях высокий уровень активности обычно приписывается преданности, а не принуждению или иррациональности.
Для прерывистого подкрепления характерно то, что поведение может сохраняться в течение длительных периодов времени с очень малой отдачей. Это объясняется тем, что «люди – существа оптимистичные и генетически не рассчитаны на смирение», но в этом эффекте нет ничего принципиально человеческого, и не оптимизм или смирение, а непредвиденные обстоятельства являются очевидной и понятной причиной.
Аверсивные стимулы и наказание
Аверсивные стимулы, вызывающие множество физических состояний, ощущаемых или интроспективно наблюдаемых, – это стимулы, которые действуют как подкрепление при уменьшении или прекращении. Они оказывают различное воздействие, когда связаны с поведением разными способами. В респондентном обусловливании, если за ранее нейтральным стимулом, таким как звонок, через определенный промежуток времени часто следует вредный стимул, например удар током, звонок вызывает реакцию прежде всего в вегетативной нервной системе, которая ощущается как тревога. Звонок становится условным аверсивным стимулом, который в дальнейшем может изменить вероятность того, что поведение, подкрепленное положительно, будет продолжаться. Так, человек, ведущий оживленную беседу, может заговорить менее решительно, менее уверенно или вообще перестать говорить при приближении того, кто относится к нему неприязненно. С другой стороны, его негативно подкрепленное поведение может усилиться, и он может действовать более компульсивно или агрессивно или попытаться уйти. Его поведение меняется не потому, что он чувствует тревогу; оно меняется из-за аверсивных обстоятельств, порождающих состояние, которое ощущается как тревога. Изменение в чувстве и изменение в поведении имеют общую причину.