Наука о данных. Базовый курс

Это указывает на то, что клиенты, покупающие хот-доги и кетчуп, также могут купить и пиво. Часто в качестве примера поиска ассоциативных правил приводят историю о том, как неизвестный американский супермаркет в 1980-х гг. одним из первых использовал компьютерную систему для анализа своих данных и выявил неожиданную ассоциацию клиентов, покупающих вместе подгузники и пиво. Теоретическое обоснование этого правила заключалось в том, что семьи с маленькими детьми готовились к уик-энду и знали, что им нужно запастись подгузниками и купить пиво, чтобы дома было что выпить. Магазин разместил эти два товара рядом, и продажи выросли. И хотя история о пиве и подгузниках теперь считается мифом, она остается ярким примером преимуществ ассоциативных правил для предприятий розничной торговли.

Ассоциативные правила имеют два основных статистических показателя: поддержка и достоверность. Процент поддержки ассоциативного правила указывает, как часто элементы встречаются вместе. Поддержка — это отношение транзакций, которые включают в себя элементы (и предпосылки, и следствия) к общему числу транзакций. Процент достоверности ассоциативного правила указывает на вероятность появления предпосылки и следствия в одной и той же транзакции. Достоверность — это условная вероятность, с какой следствие наступает в случае предпосылки. Достоверность рассчитывается как отношение поддержки к количеству транзакций, в которые входит предпосылка. Так, например, показатель достоверности 75 % для ассоциативного правила, касающегося хот-догов, кетчупа и пива, указывает на то, что в 75 % случаев, когда покупатель покупал хот-доги и кетчуп, он также покупал и пиво. Значение поддержки указывает процент корзин в наборе данных, в которых выполняется правило. Например, поддержка 5 % для того же примера будет показывать, что 5 % всех корзин в наборе данных содержали все три элемента правила.

Даже небольшой набор данных может содержать большое количество ассоциативных правил. Чтобы упростить их анализ, набор обычно ограничивают только теми правилами, которые имеют высокие значения поддержки и достоверности. Правила, не отвечающие этим требованиям, не интересны либо потому, что охватывают очень небольшой процент корзин (низкая поддержка), либо потому, что взаимосвязь между предпосылкой и следствием низкая (низкая достоверность). Правила, которые являются тривиальными или их невозможно объяснить, также не принимаются во внимание. Тривиальные правила представляют собой ассоциации, которые очевидны и известны каждому, кто разбирается в данной сфере. Необъяснимые правила представляют собой ассоциации настолько странные, что трудно понять, как из этого правила вывести полезное действие. Вполне вероятно, что необъяснимое правило является результатом выброса данных (представляет собой ложную корреляцию). После сокращения набора правил специалист по данным может проанализировать оставшиеся и понять, какие продукты связаны друг с другом. Обычно организации используют эту информацию для составления планограмм торговых точек или проведения целевых маркетинговых кампаний. Последние могут включать в себя рекомендации продуктов на сайтах, рекламу в магазинах, прямые рассылки, перекрестные продажи на выезде и т. д.

Поиск ассоциативных правил становится более эффективным, если корзины товаров связаны с демографическими данными клиента. По этой причине многие ритейлеры используют программы лояльности, которые позволяют связывать разные корзины не только с одним клиентом, но и с его демографическими данными. Например, ассоциативные правила, основанные на демографии, могут применяться к новым клиентам, о привычках и предпочтениях которых у компании нет информации. Вот пример ассоциативного правила, учитывающего демографические данные:

ЕСЛИ пол (мужской), возраст (<35) и {хот-доги, кетчуп} — ТО {пиво} [поддержка = 2 %, доверие = 90 %].