Сравнительный анализ методов кластерного анализа в решении задач группировки

Оглавление

 

Введение

Глава 1. Теоретические основы анализа Big Data

1.1 О Big Data

.2 Map-Reduce

.3 Data Mining для работы с Big Data

1.4 Задачи, решаемые методами Data Mining

Вывод к первой главе

Глава 2. Кластерный анализ для Big Data

.1 Выбор метода кластеризации

.2 Иерархические методы

.3 Неиерархические методы

.4 Сравнение видов кластеризации

.5 Статистики, связанные с кластерным анализом

Вывод ко второй главе

Глава 3. Алгоритм разбиения торговых точек

.1 Профиль клиента

.2 Анализ соответствий

.3 Основная идея кластерного анализа

.4 Признаки для кластеризации

.5 Выявление однородных по местоположению точек

.5.1 Итоговое деление на страты

.6 Кластеризация объектов на однородные группы

.7 Кластеризация ассортимента торговых точек

Вывод к третьей главе

Заключение

Список литературы

Введение

Человечество в свое м развитии использует материальные, энергетические, инструментальные и информационные ресурсы. Информация о событиях прошлого, настоящего и возможного будущего представляет огромный интерес для анализа происходящего. Как говорили древние: Praemonitus praemunitus - «предупреждён - значит вооружён».

Современное развитие общества характеризуется небывалым ростом информационных потоков - в промышленности, торговле, финансовых ранках. Способность общества хранить и быстро обрабатывать информацию определяет в целом уровень развития государственности той или иной страны.

Проблема сбора, хранения и обработки информации в современном обществе уделяется огромное внимание. Однако, в настоящий момент существует явное противоречие. С одной стороны, человеческая цивилизация переживает информационный взрыв, объем информации с каждым годом увеличивается в разы. С другой стороны, рост текущего объема информации в обществе превышает индивидуальные возможности личности по ее усвоению. Наличие такой проблематики инициирует массовое развитие технологий, технических средств, коммутационных потоков.

Исключительно важная роль информации в современном мире, привела к выявлению информации как собственного ресурса, столь же важного и необходимого, как энергетические, финансовые, сырьевые ресурсы.

Потребности общества в сборе, хранении и обработке информации как товара создали новый спектр услуг - рынок информационных технологий.

Для наиболее полного и цельного использования информационных технологий, информацию нужно собирать, обрабатывать, создавать места хранения, накопления, создавать системы передачи и системы ограничения доступа, наконец, информацию нужно систематизировать. Последняя проблема наиболее актуальна в последнее время, поскольку большой, даже огромный, объем информации, поступающий в глобальные массивы хранения, без ее систематизации может привести к информационному коллапсу, когда доступ или поиск нужной информации может привести к поиску иголки в стоге сена.

Цель данной работы: Сравнительный анализ методов кластерного анализа в решении задач группировки.

Задача: Проанализировать подходы к использованию кластерного анализа в задачах типизации большого множества данных.

В ходе работы будут использованы различные методы кластерного анализа, с целью выявления преимуществ и недостатков каждого из них, а также выбора наиболее оптимального под выполнение поставленных задач. Также будет поднят главный вопрос кластерного анализа - вопрос о количестве кластеров, и будут даны рекомендации по его решению. Актуальность данной работы обусловлена острой необходимостью определения оптимальных методов обработки больших объемов данных и решения задач систематизации данных в кратчайшие сроки. Широкое практическое применение полученных посредством кластерного анализа данных и обуславливает актуальность данного исследования. Определенным аспектам такой проблематики в современном развитии информационных технологий и посвящена моя дипломная работа.

 

Глава 1. Теоретические основы анализа Big Data

 

.1 О Big Data

Термин «Big Data» характеризует совокупности данных c возможным экспоненциальным ростом, которые слишком велики, слишком неформатированы или совсем неструктурированы для анализа традиционными методами.

Технологии Big Data - серия подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объемов и значительного многообразия. Данные технологии применяются для получения воспринимаемых человеком результатов, эффективных в условиях непрерывного прироста, распределения информации по многочисленным узлам вычислительной сети. Они сформировались в конце 2000-х годов в качестве альтернативы традиционным системам управления базами данных и решениям класса Business Intelligence. В настоящее время большинство крупнейших поставщиков информационных технологий для организаций в своих деловых стратегиях используют понятие «большие данные», а основные аналитики рынка информационных технологий посвящают концепции выделенные исследования.

В настоящее время значительное количество компаний внимательно следят за развитием технологий. Согласно отчетам компании McKinsey «Global Institute, Big data: The next frontier for innovation, competition, and productivity» (Глобальный Институт, большие данные: следующий рубеж для инноваций, конкуренции и производительности), данные стали важным фактором производства наряду с трудовыми и капитальными ресурсами. Использование Big Data становится основой конкурентного преимущества и роста компаний.

В условиях современности организации и компании создают огромное количество неструктурированных данных: текст, различные документы изображения, видео, машинные коды, таблицы и тому подобное. Все эта информация размещается и хранится в множестве репозиториев, зачастую за пределами организации.

Организации могут обладать доступом к огромному массиву собственных данных, но при этом необходимых инструментов, с которыми реально было бы установить взаимосвязи между всеми этими данными и основываясь на них сделать значимые выводы, могут и не иметь. Учитывая быстрый и непрерывный рост данных, становится остро необходимым переход от традиционных методов анализа к более прогрессивным технологиям класса Big Data.

Характеристики. В современных источниках понятие Big Data определяется как данные объема в порядках терабайт. Признаки Big Data можно определить как «три V»: volume - объем; variety - разнородность, множество; velocity - скорость (необходимость очень быстрой обработки).

Рисунок 1 Признаки больших данных

·    Объем. Стремительное развитие технологий и популяризация социальных сетей способствуют очень быстрому росту объемов данных. Эти данные, генерируемые как людьми, так и машинами распространяются в различных местах и форматах в огромных объемах.

·        Скорость. Данный признак - это скорость генерации данных. Получение необходимых данных в кратчайшие сроки является важным конкурентным преимуществом для разработчиков решений, в том числе и потому что разные приложения имеют различные требования к задержкам.

·        Разнообразие. Разнообразие можно отнести к различным форматам хранения данных. На сегодняшний день в мире генерируются значительные объемы неструктурированных данных, и это помимо структурированных данных, которые получают на предприятиях. До начала эры развития технологии Big Data совсем не было мощных и надежных инструментов в отрасли, которым было бы по силам работать с объемными неструктурированными данными, с которыми приходится видеть сегодня.

Потребление огромного количества структурированных данных, генерируемых как внутри, так и вне пределов предприятия является необходимостью для организаций в современном мире для того, дабы оставаться конкурентоспособными.

К «категории» Big data традиционно относят не только привычные электронные таблицы, но и неструктурированные данные, которые могут храниться в виде изображений, аудиофайлов, видеофайлов, веб-журналов, данных датчиков и многие другие. Разновидностью в мире больших данных и будет называться этот аспект различных форматов данных.

Ниже в рисунке 2 находится сравнительная характеристика традиционной базы и базы Big Data.

Существуют некоторое количество отраслей, данные в которых собираются и накапливаются весьма интенсивно. Для приложений такого класса, в которых есть необходимость хранения данных годами, накопленные данные классифицируются как Extremely Big Data.

Отмечается также рост числа приложений Big Data в коммерческих и государственных секторах, объем данных такого рода приложений находится в хранилищах и зачастую составляет сотни петабайт.

Рисунок 2 Сравнительные характеристики данных

Развитие определенных технологий делает возможным «отслеживание» людей, их привычек, интересов и потребительского поведения различными методами. В качестве примера можно привести использование интернета в целом и в частности - покупки в Интернет-магазинах, таких как Walmart (по данным Википедии, хранилище данных Walmart оценивается более чем в 2 петабайт), или путешествуем и перемещаемся с мобильными телефонами, совершаем звонки, пишем письма, делаем фотографии, заходим в аккаунты в социальных сетях из различных точек планеты - все это накапливается в базах данных и может быть полезно использовано благодаря быстрой обработке больших данных.

Аналогичным образом, современные медицинские технологии генерируют большие объемы данных, относящиеся к оказанию медицинской помощи (изображения, видео, мониторинг в реальном времени).

Источники больших данных. Подобно тому, как изменились форматы хранения данных, источники данных также эволюционировали и постоянно расширяются. Необходимо хранить данные в широком разнообразии форматов.

С развитием и продвижением технологии объем данных, которые генерируются, постоянно растет. Источники больших данных можно разделить на шесть различных категорий, как показано ниже.

Рисунок 3 Источники больших данных

·    Данные предприятия. На предприятиях в разных форматах имеются большие объемы данных. Общие форматы включают плоские файлы, электронные письма, документы Word, электронные таблицы, презентации, HTML-страницы, документы PDF, XML-файлы, устаревшие форматы и т. д. Эти данные, распространяемые по всей организации в разных форматах, называются корпоративными данными .

·        Транзакционные данные. Каждое предприятие имеет свои приложения, которые включают в себя выполнение различных видов транзакций, таких как веб-приложения, мобильные приложения, CRM-системы и многие другие.

Для поддержки транзакций в этих приложениях в качестве базовой инфраструктуры обычно используется одна или несколько реляционных баз данных. В основном это структурированные данные и называются транзакционными данными.

·    Социальные медиа. В социальных сетях, таких как Twitter, Facebook и многие другие, генерируются большое количество данных. Обычно в социальных сетях используются неструктурированные форматы данных, в том числе текст, изображения, аудио, видео. Эта категория источников данных называется социальной СМИ .

·        Activity Generate. Сюда входят данные из медицинских устройств, цензурные данные, видео наблюдения, спутники, башни сотовых телефонов, промышленное оборудование и другие данные, генерируемые в основном машинами. Эти типы данных называются данными Activity Generate.

·        Публичные данные. Эти данные включают в себя данные, которые общедоступны, как данные, публикуемые правительствами, данные исследований, публикуемые научно-исследовательскими институтами, данные метеорологических и метеорологических отделов, данные переписи, Википедия, образцы данных с открытым исходным кодом и другие данные, которые свободно доступны для общественности. Этот тип общедоступных данных называется Public Data .

·        Архив. Организации архивируют много данных, которые либо больше не требуются, либо очень редко требуются. В сегодняшнем мире, когда оборудование дешевеет, ни одна организация не хочет удалять какие-либо данные, они хотят хранить как можно больше данных. Этот тип, к которым менее часто обращаются, называется архивными данными.

Примеры реализации. В качестве примера реализации данной технологии чаще всего приводится проект Hadoop, который разработан для осуществления распределенных вычислений, используемых для обработки внушительных объемов данных.

Этот проект разрабатывается в рамках Apache Software Foundation. Компания Cloudera поддерживает данный проект в коммерческом плане.

В качестве участников в проект привлечены разработчики из различных стран мира. информация кластеризация провайдер

Технологически Apache Hadoop можно назвать свободным Java-фреймворком, который поддерживает выполнение распределенных приложений, работающих на больших кластерах, построенных на стандартном оборудовании.

Так как обработка данных выполняется на кластере серверов, в случае выхода из строя одного из них, работа будет перераспределена между другими работающими.

Также необходомо сказать о реализации в Hadoop технологии MapReduce, основной задачей которой является автоматическое распараллеливание данных и их обработку на кластерах.

Ядром Hadoop является отказоустойчивая распределенная файловая система HDFS (Hadoop Distributed File System), оперирующая системами хранения.

Суть системы в разбитии входящих данных на блоки, для которых есть специально отведенная позиция в пуле серверов для каждого из них. Система делает возможным для приложений масштабироваться. Уровнем будут тысячи узлов и петабайты данных.

1.2 Map-Reduce

В данном пункте речь пойдет об алгоритме Map-Reduce, который является моделью для распределенных вычислений.

В основе принципов его работы лежит распределение входных данных на рабочие узлы распределенной файловой системы для предварительной обработки (map-шаг) и, затем следует свертка (объединение) заранее обработанных данных (reduce-шаг).

Алгоритм вычисляет промежуточные суммы каждого узла распределенной файловой системы, затем вычисляет сумму промежуточных значений и получает итоговую сумму.

Магический квадрант провайдеров решений в области систем управления хранилищами данных ( Gartner, февраль 2017)

Рисунок 4 Лидеры

Компании:

·    Лидеры: IBM, SAS, RapidMiner, KNIME

·        Претенденты: MathWorks, Quest (ранее Dell), Alteryx, Angoss

·        Вижуанарии: Microsoft, H2O.ai, Dataiku, Domino Data Lab, Alpine Data

·        Нишевые игроки: FICO, SAP, Teradata

1.3 Data Mining для работы с Big Data

Data Mining (DM) - “Это технология, которая предназначена для поиска в больших объемах данных неочевидных, объективных и полезных на практике закономерностей”.

Особенностью Data Mining можно назвать сочетание широкого математического инструментария (от классического статистического анализа до новых кибернетических методов) и последних достижений в сфере информационных технологий.

Данная технология объединяет строго формализованные методы и методы неформального анализа, т.е. количественный и качественный анализ данных.

 

.4 Задачи, решаемые методами Data Mining

·    Корреляция - установление статистической зависимости непрерывных выходных от входных переменных.

·        Кластеризация - это группировка объектов (наблюдений, событий) на основе данных (свойств), описывающих сущность этих объектов. Объекты внутри кластера обязаны быть "похожими" друг на друга и при этом иметь отличия от объектов, попавших в другие кластеры.

Точность кластеризации будет выше если объекты внутри кластера максимально похожи, а кластеры максимально различаются.

·    Классификация - это отнесение объектов (наблюдений, событий) к одному из заранее известных классов.

·        Ассоциация - выявление закономерностей между связанными событиями. Примером такой закономерности служит правило, указывающее, что из события X следует событие Y. Такие правила называются ассоциативными.

 

Вывод к первой главе

Большие данные - это не очередной ажиотаж на ИТ-рынке, это системный, качественный переход к составлению цепочек ценностей, основанных на знаниях.

По эффекту его можно сравнить с появлением доступной компьютерной техники в конце прошлого века.

В то время как недальновидные консерваторы будут применять глубоко устаревшие подходы, предприятия, уже сейчас использующие технологии Big Data, в будущем окажутся на лидирующих позициях и получат конкурентные преимущества на рынке. Нет никаких сомнений в том, что все крупные организации в ближайшие годы внедрят эту технологию, так как за ней как настоящее, так и будущее.

Глава 2. Кластерный анализ для Big Data

Кластерный анализ представляет собой класс методов, которые используются для классификации объектов или событий в достаточной степени однородные группы, которые и будут называться кластерами.

Принципиальным будет то, что объекты в кластерах обязаны быть похожими между собой, но при этом обязательно отличаться от объектов, находящихся в других кластерах.

На рисунке 5 проиллюстрирована идеальная ситуация кластеризации, каждых из кластеров четко отделены на основании различий двух переменных: ориентация на качество (X), и чувствительность к цене (Y),

Рисунок 5 Идеальная ситуация кластеризации

Необходимо отметить, что абсолютно каждый потребитель попадает в какой-либо из кластеров, и перекрывающихся областей нет.

Однако, на иллюстрации снизу показана ситуация кластеризации, наиболее часто встречающаяся на практике.

В соответствии с данными рисунка 6 границы кластеров очерчены крайне нечетко, и не совсем очевидно какие потребители в какой кластер отнесены, так как солидную часть из них невозможно сгруппировать в тот или иной кластер.

Рисунок 6 Реальная ситуация кластеризации

В кластерном анализе группы, либо же кластеры выявляются при помощи собранных актуальных данных, а не заранее. Таким образом - нет абсолютно никакой необходимости в подготовке предварительной информации о кластерной принадлежности какого-либо из объектов.

• Сегментация рынка. К примеру, потребителей следует поделить на кластеры, основываясь на выгодах, ожидаемых ими от покупки данного товара. Кластер может содержать потребителей, ищущих схожие выгоды.. Такой метод и принято называть методом сегментаций преимуществ.

• Понимание поведения покупателей. Использование кластерного анализа в случае необходимости идентификации однородных категорий покупателей.

• Определение возможностей нового товара. Определение конкурентоспособных групп и наборов в рамках данного рынка также проводится посредством кластеризации торговых марок и товаров.

• Выбор тестовых рынков. Подборка подобных городов с целью проверки многочисленных маркетинговых стратегий выполняется посредством группировки городов в однородные кластеры.

• Сокращение размерности данных. Кластерный анализ также применяется в качестве основного инструмента уменьшения размерности данных при создании кластеров или подгрупп данных, в большей степени удобных для анализа, чем отдельные наблюдения. Далее проводимый многомерный анализ производится над кластерами, а не над отдельными наблюдениями.

2.1 Методы кластеризации

Существует два типа методов кластеризации: иерархические и неиерархические.

Рисунок 7 Методы кластерного анализа

 

.2 Иерархические методы

Иерархические методы делятся на два типа - агломеративные и дивизивные.

Агломеративная кластеризация берет начало с каждого объекта в отдельном кластере. Объекты группируются во все более крупные кластеры. Этот процесс будет идти до тех пор, пока все объекты не станут членами одного единственного кластера.

Также следует выделить дивизивную кластеризацию, которая берет начало со всех объектов, являющихся сгруппированными в единственном кластере. Кластеры будут делить пока каждый объект не окажется в отдельном кластере. Чаще всего для исследований берутся агломеративные методы, такие как методы связи, а также дисперсионные и центроидные.

Методы связи включают метод одиночной связи, метод полной связи и метод средней связи. Методы связи - агломеративные методы иерархической кластеризации, которые объединяют объекты в кластер, исходя из вычисленного расстояния между ними.

Рисунок 8 Метод одиночной связи

В основе метода одиночной связи лежит минимальное расстояние, или правило ближайшего соседа (формула 1) .

При формировании кластера первыми объединяют два объекта, расстояние между которыми минимально. Далее определяют следующее по величине самое короткое расстояние, и в кластер с первыми двумя объектами вводят третий объект.

На каждой стадии расстояние между двумя кластерами представляет собой расстояние между их ближайшими точками. На любой стадии два кластера объединяют по единственному кратчайшему расстоянию между ними.

Этот процесс продолжают до тех пор, пока все объекты не будут объединены в кластер. Если кластеры плохо определены, то метод одиночной связи работает недостаточно хорошо.

Рисунок 9 Метод полной связи

 

 

 

В основе метода полной связи лежит максимальное расстояние между объектами, или правило дальнего соседа. В методе полной связи расстояние между двумя кластерами вычисляют как расстояние между двумя их самыми удаленными точками.

 

Рисунок 10 Метод средней связи

 

 

В методе средней связи расстояние между двумя кластерами определяется как среднее значение всех расстояний, измеренных между объектами двух кластеров, при этом в каждую пару входят объекты из разных кластеров. Метод средней связи использует информацию обо всех расстояния между парами, а не только минимальное или максимальное расстояние. По этой причине обычно предпочитают метод средней связи, а не методы одиночной или полной связи.

Дисперсионные методы формируют кластеры таким образом, чтобы минимизировать внутрикластерную дисперсию.

Рисунок 11 Метод Варда

 

 

Широко известным дисперсионным методом, используемым для этой цели, является метод Варда, в котором кластеры формируют таким образом, чтобы минимизировать квадраты евклидовых расстояний до кластерных средних.

Для каждого кластера вычисляют средние всех переменных. Затем для каждого объекта вычисляют квадраты евклидовых расстояний до кластерных средних.

Эти квадраты расстояний суммируют для всех объектов. На каждой стадии объединяют два кластера с наименьшим приростом в полной внутрикластерной дисперсии.

Рисунок 12 Центроидный метод

 

 

В центроидных методах расстояние между двумя кластерами представляет собой расстояние между их центроидами (средними для всех переменных).

Центроидный метод - это дисперсионный метод иерархической кластеризации. Каждый раз объекты группируют и вычисляют новый центроид.

Метод Варда и средней связи показывают лучшие результаты из всех иерархических методов.

2.3 Неиерархические методы

Иным типом процедур кластеризации являются неиерархические методы кластеризации, зачастую называемые методом k-средних. Метод k-средних (k-means clustering) - метод, определяющий центр кластера, а в следующую очередь группирует все объекты в пределах заданного от центра порогового значения. Эти методы включают последовательный пороговый метод, параллельный пороговый метод и оптимизирующее распределение.

 

где k - число кластеров,  _{i}} - полученные кластеры, i=1,2,…,k

 - центры масс векторов .

Рисунок 13 Пример работы алгоритма k-средних (k=2)

В последовательном пороговом методе группируются вместе объекты, которые находятся в пределах порогового значения с заданным центром.

Следующим этапом определяется новый кластерный центр, а данный процесс будет повторен для несгруппированных точек. После помещения объекта в кластер, имеющим новый центр, он уже не будет рассматриваться в качестве объекта для дальнейшей кластеризации.

По схожей схеме работает параллельный пороговый метод, но он имеет одно важное отличие - одновременно выбираются несколько кластерных центров и объекты, находящиеся в пределах порогового уровня группируются с ближайшим центром.

Метод оптимизирующего распределения будет иметь отличия от двух предыдущих пороговых методов в том, что объекты возможно впоследствии поставить в соответствие другим кластерам (перераспределить), в целях оптимизации суммарного критерия, которым является среднее внутри кластерное расстояние, установленное для данного числа кластеров.

Алгоритм BIRCH благодаря обобщенным представлениям кластеров, скорость кластеризации увеличивается, алгоритм при этом обладает большим масштабированием. В этом алгоритме реализован двухэтапный процесс кластеризации.

Первый этап заключается в формировании предварительного набора кластеров. Следующий этап заключается в применении к выявленным кластерам других алгоритмов кластеризации, которые были бы пригодны в работе с оперативной памятью.

Представим себе каждый элемент данных в качестве бусины, которая лежит на поверхности стола, то данные кластеры абсолютно реально "заменить" теннисными шариками и в дальнейшем перейти к изучению кластеров теннисных шариков более детально.

Количество бусин может быть достаточно большим, но диаметр теннисных шариков реально так подобрать, чтобы на втором этапе, применяя традиционные алгоритмы кластеризации, стало возможным определить действительную сложную форму кластеров.

Среди новых масштабируемых алгоритмов также можно отметить алгоритм CURE - алгоритм иерархической кластеризации, где понятие кластера формулируется с использованием концепции плотности. Над масштабируемыми методами сейчас активно работают многие исследователи, основная задача которых - преодолеть недостатки алгоритмов, существующих на сегодняшний день.

2.4 Сравнение видов кластеризации

В таблице перечислены достоинства и недостатки таких методов, как: Алгоритм CURE, BIRCH, MST, k-средних (k-means), PAM, CLOPE, Самоорганизующиеся карты Кохонена, HCM (Hard C - Means), Fuzzy C-means.

 

2.5 Статистики, связанные с кластерным анализом

Следующие статистики и понятия связаны с кластерным анализом:

1.   Кластерный центроид. Среднее значение переменных для всех случаев или объектов в конкретном кластере.

2.      Кластерные центры. Исходные начальные точки в неиерархической кластеризации. Кластеры строят вокруг этих центров, или зерен кластеризации.

3.      Принадлежность кластеру. Указывает кластер, которому принадлежит каждый случай или объект.

4.      Древовидная диаграмма - графическое средство для показа результатов кластеризации. Вертикальные линии представляют объединяемые кластеры. Положение вертикальной линии на шкале расстояния показывает расстояния, при которых объединяли кластеры. Такую диаграмму читают слева направо.

5.      Показатель вариации. Проверка качества кластеризации. Отношение стандартного отклонения к среднему значению.

 

7.      Сосульчатая диаграмма. Это графическое отображение результатов кластеризации.

8.      Матрица сходства/матрица расстояний между объединяемыми объектами - это нижняя треугольная матрица, содержащая значения расстояния между парами объектов или случаев

Вывод ко второй главе

Кластерный анализ поистине можно назвать удобнейшим и самым оптимальным инструментом выделения сегментов рынка. Использование данных методов стало особенно актуально в век высоких технологий, в который так актуально ускорить трудоемкие и длительные процессы при помощи технологий. Переменные, используемые в качестве основания для кластеризации, правильным будет выбирать, опираясь на опыт предыдущих исследований, теоретических предпосылок, различных проверенных гипотез, а еще исходя из пожеланий исследователя. Помимо этого, рекомендуется взять соответствующую меру сходства. Отличительной особенностью иерархической кластеризации является разработка иерархической структуры. Существуют и используются два типа иерархических методов кластеризации - агломеративные и дивизивные.

Агломеративные методы включают в себя: метод одиночной, полной и средней связи. Самым распространенным дисперсионным методом является метод Барда. Неиерархические методы кластеризации часто называют методами k-means. Выбор метода кластеризации и выбор меры расстояния взаимосвязаны. В иерархической кластеризации важным критерием принятия решения о числе кластеров являются расстояния, при которых происходит объединение кластеров. Относительные размеры кластеров должны быть такими, чтобы имело смысл сохранить данный кластер, а не объединить его с другими. Кластеры интерпретируют с точки зрения кластерных центроидов. Часто интерпретировать кластеры помогает их профилирование через переменные, которые не лежали в основе кластеризации. Надежность и достоверность решений кластеризации оценивают разными способами.

Глава 3. Алгоритм разбиения торговых точек

В качестве исследуемого объекта взято торговое предприятие, имеющее 36 651 торговую точку, реализующую кондитерскую продукцию. В списке реализуемых предприятием товаров свыше 350 единиц продукции.

Целью данного исследования будет сравнительный анализ методов кластерного анализа в решении задач:

.     Изучение профиля клиента и анализ соответствия взаимосвязей заданных признаков;

2.      Разделение на кластеры - выделение однородных групп;

.        Разбиение на однородные группы ассортимента торгового предприятия.

 

.1 Профиль клиента

По данным исследования Galileo, проведенного во втором полугодии 2016 года, было опрошено около 42 миллионов людей, употребляющих кондитерские изделия.

Из этого опроса следует, что основными потребителями кондитерских изделий являются женщины.

Это можно связать с тем, что женщины традиционно получают в качестве подарка шоколадные изделия, а также большая часть любителей кондитерских изделий - женщины. Это наглядно можно увидеть на рисунке 10.

Далее рассмотрим потребительские предпочтения аудитории в зависимости от возраста:

·    до 16 лет - основные потребители шоколада в виде фигур;

·        от 16 до 24 лет - основные потребители шоколадных батончиков;

·        шоколад в плитке в большинстве случаев приобретается женщинами от 25 до 34 лет;

·        люди от 25 до 45 лет - основные покупатели конфет в коробках;

·        От 45 и старше предпочитают развесные конфеты.

Рисунок 14 Потребление кондитерских изделий в зависимости от пола

На рисунке 12 изображено распределение общего объема потребления на 3 группы, в зависимости от достатка: А-низкий, В-средний, С-высокий. Львиная доля потребителей приходится на группу со средним достатком - 54%, затем следует группа с низким достатком - 29%, наименьший вклад вносит группа с высоким доходом - 17%.

Рисунок 15 Потребление кондитерских изделий в зависимости от дохода

Данный график иллюстрирует предпочтения аудитории в выборе места покупки, рассмотрим также распределение в зависимости от дохода. Очевидно, что наибольшее число покупок совершается в гипер и супермаркетах, что справедливо по отношению к каждой из доходных групп.

Доля покупок в супермаркетах составляет практически половину (46%) для группы С, исходя из чего можно сделать вывод о целесообразности расширения линейки товаров, популярных среди людей с высоким достатком.

На людей со средним достатком приходится 41% покупок в супермаркетах, а на людей с низким достатком самая маленькая доля - 37%. Далее идет доля покупок в небольших магазинах самообслуживания, покупки в таких магазинах совершают все три группы в равных пропорциях. Наименьшая доля приходится на рынки и ларьки, там основной вклад вносят представители группы А, которая включает в себя большое количество пенсионеров, которые зачастую совершают покупки на рынке «по привычке».

Рисунок 16 Места покупок кондитерских изделий в зависимости от дохода

Следующий график наглядно иллюстрирует степень важности того или иного признака товара для каждой из трех доходных групп. Для групп А и В наиболее важным фактором является цена, а внешний вид упаковки и страна производства товара имеет небольшое значение. Поведение представителей группы с высоким доходом будет немного отличаться, там, помимо цены, важное значение имеет бренд и внешний вид и страна производства товара.

Рисунок 17 Приоритеты при выборе кондитерских изделий различных доходных групп

 

.2 Анализ соответствий

Анализ соответствий используется для визуализации таблиц. Этот метод позволяет выявить взаимосвязь между признаками в столбцах и строках таблицы.

Красный квадрат соответствует категориям, расположенным в столбцах таблицы, а синий в строках. Чем ближе точки друг другу, тем больше связаны между собой эти категории по рассматриваемым характеристикам.

Рассмотрим далее проведенный анализ соответствий потребления кондитерских изделий по полу и возрасту, проиллюстрированный на рисунке 7, а также рисунок 8, на котором показано потребление различных категорий продукции в зависимости от дохода потребителей.

Сперва рассмотрим предпочтения трех групп мужчин: в возрасте 16-19 лет, 20-24 и 25-34, так как их потребительские предпочтения можно охарактеризовать как практически идентичные.

Рисунок 18 Анализ соответствий популярных конфет по возрасту и полу

Мужчины этих возрастных групп предпочитают шоколадные батончики Snickers, Mars, Nuts, Twix, Picnic, Kinder bueno и конфеты M&m’s. Продукция такого типа относится к категории «Шоколадные батончики и другой шоколад в мелкой упаковке» и в наибольшей степени будут популярны среди лиц с низким доходом.

Далее следуют четыре оставшиеся возрастные группы мужчин: 35-44, 45-54, 55-64, 65-74. Для них также будет характерно примерно одинаковое потребительское поведение и они являются крайне пассивными потребителями. Для этих групп будет справедливо утверждение, что с ростом уровня дохода обратно пропорционально будет изменяться уровень потребления, то есть среди мужчин в возрасте 35-74, имеющих высокий доход, будет наиболее низкая потребительская активность.

Рисунок 19 Потребление конфет по категориям

Очевидно, что ниша включающая в себя платежеспособных мужчин 35-74 является весьма перспективной и при этом незанятой, но существующий набор товаров не способен удовлетворить запросы этой категории потребителей. Исходя из вышесказанного, можно сделать ввод, что имеет смысл воздействовать на данную целевую аудиторию каким-то абсолютно новым продуктом, способным привлечь потребителей.

Следующим этапом будет описание групп женщин в возрасте 16-19, 20-24, 25-34, которые имеют схожее потребительское поведение. Упомянутые группы, как правило, предпочитают шоколадные батончики, часть из них будут аналогичны тем, что предпочитают мужчины такого же возраста - Picnic, Twix, Nuts и др., а также среди женщин высокую популярность имеют батончики Tempo, bounty, Kit Kat, Milky way, Kinder country, обыкновенное чудо.

Для этих групп также будет справедливо правило низкого дохода, по мере его увеличения популярность шоколадных батончиков будет снижаться. Далее следует группа женщин 35-44, для них самым популярным выбором является Alpen Gold, затем Geisha и мини-торт причуда, это утверждение справедливо для лиц с низким и средним доходом, в равной степени. По мере увеличения возраста предпочтительными становятся (группы 45-54, 55-64, 65-74): Аленка, Коровка, Сладко, конфеты группы “Крупской” и другие отечественные. Наиболее справедливо это по отношению к лицам со средним доходом. Оценивая потребление кондитерских изделий в целом, нужно отметить, что 2/3 всего потребления приходится на женскую долю населения.

 

.3 Основная идея кластерного анализа

Перед применением алгоритма кластеризации все торговые точки разбиваются на стратам. Алгоритм применяется отдельно к каждой из полученных страт. Полученные для отдельных групп кластеры затем объединяются в один итоговый набор кластеров.

Опишем детали алгоритма кластеризации. Обозначим количество торговых точек, к которым применяется алгоритм, через , множество торговых точек через , евклидову метрику через , количество признаков через . Количество признаков и, как следствие, их количество зависят от страты.

Прежде всего, значения всех признаков стандартизируются. Стандартизация - это преобразование признака путём вычитания его среднего значения и деления на его стандартное отклонение. Среднее значение и стандартное отклонение вычисляются один раз по данным, по которым делается кластеризации, и являются частью модели кластеризации.

В качестве алгоритма кластеризации мы используем алгоритм KMeans. Этот алгоритм требует задания количества кластеров и количества инициализаций итерационного процесса кластеризации (или начальных центроидов). Количество инициализаций зависит от имеющегося в нашем распоряжении времени на кластеризацию. Для определения количества кластеров мы применяем алгоритм KMeans с количеством кластеров  от 2 до 75. Обозначим получающиеся при этом модели кластеризации через , а центроиды через . Для каждого  мы определяем меру внутрикластерного разброса

 

Можно рассмотреть модель кластеризации для случая . В этом случае есть лишь один центроид , определяемый как поэлементное среднее всех . Получающаяся в этом случае мера внутрикластерного разброса  называется мерой полного разброса торговых точек:

 

Отношение

 

можно интерпретировать, как долю необъяснённых различий между торговыми точками внутри кластеров. Это отношение убывает с ростом . Мы определяем оптимальное количество кластеров  как

 

Другими словами, мы выбираем такое минимально количество кластеров, чтобы доля необъяснённых различий составляла не более 20%.

Примечание. Вместо значения 0.2 можно взять любое значение от 0 до 1. Выбор зависит от ограничений на количество кластеров, а также от вида графика зависимости отношения  от . Однако, если максимально допустимая доля необъяснённых различий задана до начала кластеризации, то для поиска  не обязательно строить кластерные модели для всех  от 2 до 75. Можно применить метод бинарного поиска, что существенно повышает скорость кластеризации.

В результате выполнения кластеризации мы получаем следующие компоненты полной модели кластеризации:

·    - средние значения признаков для страты  и типа ;

·        - стандартные отклонения признаков для страты  и типа ;

·        - оптимальное количество кластеров для страты  и типа ;

·        - модель кластеризации, полученная при оптимальном количестве кластеров, для страты  и типа .

Алгоритм применения полной модели кластеризации состоит в следующем. Пусть есть торговая точка типа , относящаяся к страте , заданная вектором признаков . По вектору  определяем вектор  с элементами

 

К полученному вектору  применяем модель кластеризации . В результате получаем номер кластера . Таким образом, «номер кластера» в рамках полной модели кластеризации, состоит из трёх частей:

·    страта;

·        тип;

·        номер кластера согласно модели кластеризации для страты и типа (всюду далее этот номер будет называться просто номером кластера).

 

3.4 Признаки для кластеризации

Для кластеризации необходимо составить список признаков, описывающих торговые точки. Для характеристики торговых точек использовались показатели:

·        Расстояния до мест притяжения населения (далее МПН);

·        Конкурентная среда. Расстояние до объектов транспортной инфраструктуры и других торговых точек KA-сетей и не KA-сетей (определяются расстояния до ближайшего объекта и количество объектов в радиусе 1000 метров);

·        Платёжеспособность населения в окрестности торговой точки.

Формально, к признакам также относятся страта и тип торговой точки. Однако, кластеризация по этим признакам не проводится.

Список признаков для торговых точек:

)     доход населения (income);

2)      средняя стоимость 1 квадратного метра жилья (sqm_price;);

)        средняя стоимость аренды однокомнатной квартиры (rent_price);

)        количество МПН произвольного типа в радиусе 1000 метров (num_in_radius_mpn_all);

)        количество торговых точек не KA-сетей в радиусе 1000 метров (num_in_radius_tt);

)        количество торговых точек KA-сетей в радиусе 1000 метров (num_in_radius_ka);

)        количество ж/д станций в радиусе 1000 метров (num_in_radius_railway_station);

)        количество станций метро в радиусе 1000 метров (поле num_in_radius_subway_station);

)        количество остановок наземного общественного транспорта в радиусе 1000 метров (num_in_radius_city);

)        расстояние до ближайшего МПН произвольного типа (dist_to_closest_mpn);

)        расстояние до ближайшей ж/д станции (pts_railway_station_d01_distance);

)        расстояние до ближайшей станции метро (pts_subway_station_d01_distance);

)        расстояние до ближайшей остановки наземного общественного транспорта (pts_city_d01_distance);

)        расстояние до ближайшей торговой точки не KA-сети (tt_to_tt_d001_distance);

)        расстояние до ближайшей торговой точки KA-сети (ka_d01_distance);

3.5 Выявление однородных по местоположению точек

В рамках подготовки данных было проведено деление всех данных на однородные страты по численности населения. Это необходимо для выполнения в дальнейшем качественной кластеризации. При делении на страты был применён метод сравнения средних. Качество разбиения проверялось по степени различия между стратами на основании непараметрического дисперсионного анализа. Результаты применения приведены ниже:

1. Доход населения. Гипотеза о равенстве дохода для 4 страт отвергалась (смотри таблицу 1).

 

Таблица 1 Гипотеза о доходе населения

Как видно из рисунка 20 заметна разница в среднем значение дохода. В первой страте существенно выше, чем в остальных. Наименьший доход отмечен в четвертой страте.

Рисунок 20 Сравнения между стратами (доход населения)

2. Средняя стоимость одного квадратного метра жилья. Гипотеза о равенстве стоимости 1 кв. метра жилья для 4 страт отвергалась (смотри таблицу 2).

Таблица 2. Гипотеза о средней стоимости 1кв.метра жилья

Как видно из рисунка 21 заметна разница в среднем значение стоимости 1 кв. метра жилья. В первой страте существенно выше, чем в остальных. Наименьшее значение во второй страте. В 3 и 4 страте примерно одинаковая стоимость.

Рисунок 21 Сравнения между стратами (стоимость 1кв.метра жилья)

3. Средняя стоимость аренды однокомнатной квартиры. Гипотеза о равенстве стоимости аренды для 4 страт отвергалась (смотри таблицу 3).

Таблица 3 Гипотеза о средней стоимости аренды

Как видно из рисунка 22 заметна разница в среднем значение стоимости аренды жилья. В первой страте существенно выше, чем в остальных. Наименьшее значение во второй страте.

Рисунок 22 Сравнения между стратами (средней стоимость аренды жилья)

4. Количество МПН произвольного типа в радиусе 1000 метров. Гипотеза для 4 страт отвергалась (смотри таблицу 4).

 

Таблица 4 Гипотеза о количестве МПН

Как видно из рисунка 23 заметна разница в среднем значение количества МПН. В первой страте существенно выше, чем в остальных. Наименьшее количество МПН в четвертой страте.

Рисунок 23 Сравнения между стратами (количество МПН)

 

5. Количество торговых точек не KA-сетей в радиусе 1000 метров. Гипотеза для 4 страт отвергалась (смотри таблицу 5).

Таблица 5 Гипотеза о количестве торговых точек не КА-сетей

Как видно из рисунка 24 заметна разница в средних значениях. Во второй страте среднее значение существенно выше, чем в остальных. Наименьшее значение в четвертой страте.

Рисунок 24 Сравнения между стратами (Количество ТТ не KA-сетей)

6. Количество торговых точек KA-сетей в радиусе 1000 метров. Гипотеза для 4 страт отвергалась (смотри таблицу 6).

Таблица 6 Гипотеза о количестве торговых точек КА-сетей

Как видно из рисунка 25 заметна разница в средних значениях.

Во второй страте среднее значение выше, чем в остальных, а наименьшее в четвертой страте.

Рисунок 25 Сравнения между стратами (Количество ТТ KA-сетей)

 

. Количество ж/д станций в радиусе 1000 метров. Гипотеза для 4 страт отвергалась (смотри таблицу 7).

 

Таблица 7 Гипотеза о количестве ж/д станций

Как видно из рисунка 26 заметна разница в средних значениях.

В первой страте среднее значение выше, чем в остальных.

Наименьшее количество ж/д станций в третьей и четвертой страте.

8. Количество остановок наземного общественного транспорта в радиусе 1000 метров. Гипотеза для 4 страт отвергалась (смотри таблицу 8).

 

Таблица 8 Гипотеза о количестве остановок наземного транспорта

Как видно из рисунка 27 заметна разница в средних значениях. В первой страте среднее значение выше, чем в остальных, наименьшее значение в 4 страте.

Рисунок 27 Сравнения между стратами (количестве остановок наземного транспорта)

 

9. Расстояние до ближайшего МПН произвольного типа. Гипотеза для 4 страт отвергалась (смотри таблицу 9).

 

Таблица 9 Гипотеза о расстоянии до ближайшего МПН

Как видно из рисунка 28, заметна разница в средних значениях. В четвертой страте среднее значение выше, чем в остальных. Наименьшее значение отмечено в первой и второй страте.

Рисунок 28 Сравнения между стратами (количестве остановок наземного транспорта)

 

. Расстояние до ближайшей ж/д станции. Гипотеза для 4 страт отвергалась (смотри таблицу 10).

Таблица 10 Гипотеза о расстоянии до ближайшей ж/д станции

Как видно из рисунка 29 заметна разница в средних значениях. В четвертой страте среднее значение выше, чем в остальных. Наименьшее значение отмечено в первой страте.

Рисунок 29 Сравнения между стратами (расстояние до ближайшей ж/д станции)

11. Расстояние до ближайшей станции метро. Гипотеза для 4 страт отвергалась (смотри таблицу 11).

 

Таблица 11 Гипотеза о расстоянии до станции метро

Как видно из рисунка 30, заметна разница в средних значениях. Во второй, третье и четвертой страте среднее значение выше, а наименьшее значение отмечено в первой страте.

Рисунок 30 Сравнения между стратами (расстояние до ближайшей станции метро)

12. Расстояние до ближайшей остановки наземного общественного транспорта. Гипотеза для 4 страт отвергалась (смотри таблицу 12).

Таблица 12 Гипотеза о расстоянии до ближайшей останове наземного транспорта

Как видно из рисунка 31 заметна разница в средних значениях. В четвертой страте среднее значение выше, а наименьшее значение отмечено в 1 страте.

Рисунок 31 Сравнения между стратами (расстояние до ближайшей останове наземного транспорта)

 

13. Расстояние до ближайшей торговой точки не KA-сети. Гипотеза для 4 страт отвергалась (смотри таблицу 12).

 

Таблица 13 Гипотеза о расстоянии до ближайшей торговой точки не КА-сети

Как видно из рисунка 32 заметна разница в средних значениях. В третьей страте среднее значение выше, а наименьшее значение отмечено в первой, второй и третьей страте.

Рисунок 32 Сравнения между стратами (расстоянии до ближайшей торговой точки не КА-сети)

14. Расстояние до ближайшей торговой точки KA-сети

 

Таблица 14 Гипотеза о расстоянии до ближайшей торговой точки КА-сети

Как видно из рисунка 33 заметна разница в средних значениях. В третьей страте среднее значение выше, а наименьшее значение отмечено в первой, второй и третьей страте.

Рисунок 33 Сравнения между стратами (расстояние до ближайшей торговой точки КА-сети)

Таким образом, в итоге были получены результаты схожести страт (см. таблицу 15).

Таблица 15 Сравнение между стратами

 

.5.1Итоговое деление на страты

В итоге было выбрано разбиение на 4 страты с отнесением городов сателлитов к основным городам. Страту (поле pop_strata) определяем мы по численности населения в населённом пункте, в котором находится торговая точка.

·    1 страта - крупные города, с численностью населения более 1 миллиона человек;

·        2 страта - города, с численностью населения более 250 тысяч человек и до 1 миллиона человек;

·        3 страта - города, с численностью населения более 100 тысяч человек и менее 250 тысяч человек;

·        4 страта - города, с численностью населения менее 100 тысяч человек.

 

.6 Кластеризация объектов на однородные группы

Для выделения ТТ со схожим местоположением проведем кластеризацию объектов (для каждой из страт). Перед применение кластеризации необходимо выделить более однородные торговые точки по местоположению. Для определения качества разбиения на кластеры был использован показатель вариации. В результате 36 651 торговых точек были поделены на 15 кластеров (36 598 торговых точек) + 16-ый кластер состоит из 53 аномальных точек . Под аномальными подразумеваем точки с очень высокими продажами.

Для характеристики кластеров использовались следующие 7 показателей из описательной статистики:

·    Минимум, наименьшее значение продаж;

·        Процентиль 5%;

·        Процентиль 25%;

·        Медиана, это точка на шкале измеренных значений продаж, выше и ниже которой лежит по половине всех измеренных значений продаж;

·        Процентиль 75%;

·        Процентиль 95%;

·        Максимум, наибольшее значение продаж.

 

 

Таблица 16 Итоговое разбиение на кластеры

В таблице 1 можно наглядно увидеть итоговое распределение кластеров внутри страт. Самое большое количество торговых точек относятся к четвертой страте, а самое маленькое к третей страте.

·    Страта 1. Для первой страты (4402 торговых точек) путем применения метода к-средних (глава 2 пункт 2.3) было получено оптимальное разбиение на 4 кластера по 15 признакам. Количество кластеров выбрано на основании оптимизации критерия Акаике.

·    1-й кластер - включает в себя такие торговые точки, чьи районы близки к центру крупных городов, или точки, находящиеся в торговых центрах.

Профиль кластера: Данный кластер характеризует значительное количество мест притяжения населения (МПН), высокая концентрация торговых зон и развитая инфраструктура.

Рисунок 34 Доля кластеров в первой страте

Основные количественные и качественные характеристики кластера: Составляет 61,5% процент от общей реализации страты. В кластере 2708 торговых точек. Среднемесячные продажи в торговых точках данного кластера оцениваются в диапазоне от 3 до 7 тысяч рублей. Усредненный показатель дохода населения равен 34-36 тысячам рублей, что является выше среднего и опережает большую часть остальных кластеров по данному показателю.

Средняя стоимость 1 квадратного метра жилья будет равняться 63 - 64 тысячам рублей, что можно назвать средним показателем. Средняя стоимость аренды однокомнатной квартиры оценивается в 14 - 15 тысяч рублей, что так же можно охарактеризовать как средний показатель в сравнении с другими кластерами.

Количество мест притяжения населения произвольного типа в радиусе 1000 метров составляет от 32 до 47 -показатель выше среднего, а количество торговых точек не KA-сетей в радиусе 1000 метров около 40 - 53, что также является показателем выше среднего. Торговые точки KA-сетей в радиусе 1000 метров представлены в среднем - 10 единицами. Наличие железнодорожных станций в радиусе 1000 метров оценивается как не более двух.

Данный кластер характеризуется полным отсутствием станций метро в радиусе 1000 метров. Количество остановок наземного общественного транспорта в радиусе 1000 метров составляет 13-20 единиц.

Географические характеристики кластера: Расстояние до ближайшего места притяжения населения произвольного типа минимальное - рядом. Охарактеризовать расстояние до ближайшей ж/д станции можно как высокое - далеко. Расстояние до ближайшей станции метро - нет в округе. Удаленность от ближайшей остановки наземного общественного транспорта будет невысокой, характеристика - рядом. Расстояние до ближайшей торговой точки не KA-сети минимальное - рядом, а удаленность от ближайшей торговой точки KA-сети чуть больше, но также невелико, характеристика - близко.

·    2-й кластер - это жилые (спальные) районы крупных городов.

Профиль кластера: Незначительное количество МПН, низкая концентрация человеко-потока, торговых зон.

Основные количественные и качественные характеристики кластера: Составляет 12,2% процента от количества торговых точек в страте. В кластере 539 торговых точек. Среднемесячные продажи оцениваются в диапазоне от 3 до 8 тысяч рублей. Средний доход населения около оценен в 34 тысячи рублей, что является похожим на показатели 1-го и 3-го кластера данной страты, но выше показателей большинства кластеров других страт.

Средняя стоимость 1 квадратного метра жилья составляет 61 - 63 тысяч рублей, а средняя стоимость аренды однокомнатной квартиры будет равняться 14 - 15 тысячам рублей, как и в первом кластере. Количество мест притяжения населения произвольного типа в радиусе 1000 метров составляет 7-8 единиц, а торговых точек не KA-сетей в радиусе 1000 метров оценивается в диапазоне от 24 до 43 единиц. Количество торговых точек KA-сетей в радиусе 1000 метров будет равняться 2. Не более двух железнодорожных станций в радиусе 1000 метров. Важной характеристикой является отсутствие станций метро в радиусе 1000 метров. Количество остановок наземного общественного транспорта в радиусе 1000 метров в среднем равняется 3-4.

Географические характеристики кластера: Расстояние до ближайшего МПН произвольного типа является достаточно низким и характеризуется как - близко. Удаленность от ближайшей ж/д станции высокая, характеристика - далеко. Полное отсутствие станций метро. Отличная от 1-го кластера характеристика -высокое расстояние до ближайшей остановки наземного общественного транспорта (далеко). Расстояние до ближайшей торговой точки не KA-сети низкое - рядом. А расстояние до ближайшей торговой точки KA-сети высокое - далеко

·    3-й кластер - это центр крупных городов.

Профиль кластера: Самые высокие значения по количеству мест притяжения населения, показателей торговой активности и других мест свидетельствующих о высоком уровне экономической активности и человеко-потока.

Основные количественные и качественные характеристики кластера: Составляет 25,9% процентов от общего количества торговых точек страты. Данный кластер включает в себя размер 1139 торговых точек. Среднемесячные продажи составляют от 3,2 до 10 тысяч рублей. Доход населения составляет 36 тысяч рублей в среднем и является достаточно неплохим показателем - выше среднего.

Средняя стоимость 1 квадратного метра жилья оценивается в 63 - 68 тысяч рублей, а средняя стоимость аренды однокомнатной квартиры равна приблизительно 14 - 15 тысячам рублей, что не отличается от показателей 1-го и 2-го кластера. Количество МПН произвольного типа в радиусе 1000 метров высокое и равняется 51 - 66 единицам, а торговых точек не KA-сетей в радиусе 1000 метров находится 46 - 55 единиц, что также является высоким показателем.

Количество торговых точек KA-сетей в радиусе 1000 метров равно 15 - очень много. Наличие железнодорожных станций в радиусе 1000 метров равно примерно одной-двум. Количество станций метро в радиусе 1000 метров равно в среднем одной, но не более 3-х. Количество остановок наземного общественного транспорта в радиусе 1000 метров составляет 20-30 единиц, что является очень высоким показателем.

Географические характеристики кластера: Расстояние до ближайшего МПН произвольного типа невысокое - рядом. Удаленность от ближайшей ж/д станции также невысока, характеристика - близко. Расстояние до ближайшей станции метро низкое - близко.

До ближайшей остановки наземного общественного транспорта очень маленькое расстояние -рядом. Низкое расстояние до ближайшей торговой точки не KA-сети - рядом. Удаление от ближайшей торговой точки KA-сети также очень низкое - рядом.

·    4-й кластер - это удаленные от центра жилые, дорогие районы и частные владения.

Профиль кластера: Самые высокие значения стоимостных характеристик (доходы, недвижимость), самые низкие значения количества МПН, показателей торговли. Составляет всего 0,4% от всех торговых точек страты.

Основные количественные и качественные характеристики кластера: К кластеру относится всего 16 торговых точек и он является наименьшим из всех кластеров в страте. Продажи в месяц составляют от 4 до 40 тысяч рублей. Среднемесячный доход населения составляет 49-66 тысяч рублей, что является очень высоким показателем. Средняя стоимость 1 квадратного метра жилья также очень высока и оценивается в 85 - 124 тысяч рублей. Средняя стоимость аренды однокомнатной квартиры выше, чем в других кластерах данной страты и составляет 21-34 тысячи рублей. Количество МПН произвольного типа в радиусе 1000 метров низкое - от 4 до 20. Торговых точек не KA-сетей в радиусе 1000 метров - нет рядом. Количество торговых точек KA-сетей в радиусе 1000 метро равно 2. Наличие железнодорожных станций в радиусе 1000 метров - не более одной. Станций метро в радиусе 1000 метров не более двух. Количество остановок наземного общественного транспорта в радиусе 1000 метров - только одна.

Географические характеристики кластера: Расстояние до ближайшего МПН произвольного типа низкое - близко. Удаление от ближайшей железнодорожной станции высокое - далеко. Станции метро отсутствуют - нет рядом. Расстояние до ближайшей остановки наземного общественного транспорта высокое, характеристика -далеко. Удаленность от ближайшей торговой точки не KA-сети очень высокая - далеко. Данный кластер характеризует отсутствие торговых точек KA-сети - нет рядом.

страта. Для второй страты (9269 торговых точек) путем применения метода к-средних (глава 2 пункт 2.3) было получено оптимальное разбиение на 5 кластера по 15 признакам. Количество кластеров выбрано на основании оптимизации критерия Акаике.

Рисунок 35 Доля кластеров во второй страте

·    5-й кластер - это окраины городов, небольшие населенные пункты.

Профиль кластера: Средние значения показателей развития инфраструктуры (есть РЖД, остановки). Торговая активность проявляется только в части не ka-сетей. Самые низкие значения показателей экономической активности в страте .

Основные количественные и качественные характеристики кластера: Составляет 10% процентов от общего количества торговых точек страты. Данный кластер включает в себя 892 торговые точки. Среднемесячные продажи оценены в промежутке от 2,4 до 6 тысяч рублей. Доход населения оценивается в среднем в 27 тысяч рублей, что является невысоким показателем в сравнении с показателями кластеров первой страты.

Средняя стоимость 1 квадратного метра жилья колеблется в районе 47-53 тысяч рублей, что также ниже показателей 1 страты. Средняя стоимость аренды однокомнатной квартиры составляет 12 тысяч рублей. Количество МПН произвольного типа в радиусе 1000 метров составляет от 2 до 5 штук. Наличие торговых точек не ka-сетей в радиусе 1000 метров равняется 9-30 штукам. Полное отсутствие торговых точек ka-сетей в радиусе 1000 метров - нет рядом. Количество ж/д станций в радиусе 1000 метров не более двух штук. Остановки наземного общественного транспорта в радиусе 1000 метров - в среднем две штуки.

Географические характеристики кластера: Низкое расстояние до ближайшего МПН произвольного типа - недалеко. Удаленность от ближайшей ж/д станции высокая, характеристика - далеко. Расстояние до ближайшей остановки наземного общественного транспорта будет также высоким -далеко. Удаление от ближайшей торговой точки не ka-сети незначительное, характеристика -рядом. А расстояние до ближайшей торговой точки ka-сети большое - точки находятся далеко.

·    6-й кластер - это жилые, спальные районы городов.

Профиль кластера: Средние показатели торговой активности за счет не ka-сетей и показатели экономической активности за счет близко расположенных МПН;

Основные количественные и качественные характеристики кластера: Кластер составляет 15% процентов от общего количества торговых точек страты и включает в себя 1345 торговых точек. Ежемесячные продажи оценены в 3-6 тысяч рублей. Доход населения усредненный составляет 26 тысяч рублей, что является средним показателем для данной страты. Средняя стоимость 1 квадратного метра жилья равна 53 тысячам рублей, а средняя стоимость аренды однокомнатной квартиры будет равняться 12 тысячам рублей, как и в предыдущем кластере. Количество МПН произвольного типа в радиусе 1000 метров -18-25 штук, а торговых точек не ka-сетей в радиусе 1000 метров в промежутке от 30 до 44 штук. Количество торговых точек ka-сетей в радиусе 1000 метро в среднем 6-9 штук -высокий показатель. Железнодорожных станций в радиусе 1000 метров не более двух. Полное отсутствие остановок наземного общественного транспорта в радиусе 1000 метров.

Географические характеристики кластера: Расстояние до ближайшего МПН произвольного типа низкое - рядом,

и до ближайшей ж/д станции также недалеко.

Расстояние до ближайшей остановки наземного общественного транспорта высокое, характеристика - далеко. До ближайшей торговой точки не ka-сети близко, как и до ближайшей торговой точки ka-сети.

·    7-й кластер - это районы близкие к центру, городов, вблизи автодорог

Профиль кластера: Высокие показатели торговой активности и развития инфраструктуры (остановки наземного транспорта), средние показатели МПН.

Основные количественные и качественные характеристики кластера: Составляет 34% процентов от общего количества торговых точек страты. Данный кластер включает в себя 3194 торговые точки и является крупнейшим в страте, наравне с 8-м кластером.

Ежемесячные продажи оценены в промежутке от 2 до 6 тысяч рублей.

Усредненный доход населения равен 28 тысячам рублей.

Средняя стоимость 1 квадратного метра жилья равна 42-49 и это ниже аналогичных показателей в 5-м и 6-м кластере.

Средняя стоимость аренды однокомнатной квартиры практически не отличается от ранее рассмотренных кластеров данной страты и составляет 11-12 тысяч рублей.

Количество МПН произвольного типа в радиусе 1000 метров равна 21-33, а торговых точек не ka-сетей в радиусе 1000 метров около 50. Количество торговых точек ka-сетей в радиусе 1000 метро в среднем равно 7-10. Железнодорожных станций в радиусе 1000 метров нет.

Остановок наземного общественного транспорта в радиусе 1000 метров около 14 штук.

Географические характеристики кластера: Низкое расстояние до ближайшего МПН произвольного типа, высокое расстояние до ближайшей ж/д станции. До ближайшей остановки наземного общественного транспорта недалеко. Расстояние до ближайшей торговой точки не ka-сети низкое, характеристика - рядом. До ближайшей торговой точки ka-сети также близко.

·    8-й кластер - это центры небольших городов (~500 тыс. чел.).

Профиль кластера: Значительное количество МПН, высокая концентрация торговых зон, показатели инфраструктуры низкие.

Основные количественные и качественные характеристики кластера: Составляет 34% процентов от общего количества торговых точек страты. Данный кластер включает в себя 3191 торговую точку и является крупнейшим в страте, наравне с 7-м кластером. Усредненные данные по продажам за месяц равны 3-8 тысячам рублей. Среднемесячный доход населения оценен 28 тысяч рублей. Средняя стоимость 1 квадратного метра жилья равна 47 - 50 тысячам рублей, а средняя стоимость аренды однокомнатной квартиры равна 12 тысячам рублей. Количество МПН произвольного типа в радиусе 1000 метров в среднем равно 28-40 штукам, наличие торговых точек не ka-сетей в радиусе 1000 метров - от 38 до 52 штук. Наличие торговых точек ka-сетей в радиусе 1000 метров - от 7 до 11 единиц. Железнодорожных станций в радиусе 1000 метров нет. Количество остановок наземного общественного транспорта в радиусе 1000 метров очень невысокое, их почти нет.

Географические характеристики кластера: Ближайшее МПН произвольного типа находится рядом. Расстояние до ближайшей ж/д станции высокое, характеристика - далеко. Удаление от ближайшей остановки наземного общественного транспорта также высокое - далеко. До ближайшей торговой точки не ka-сети близко. Расстояние до ближайшей торговой точки ka-сети - близко.

·    9-й кластер - это центры городов, с численностью до 1 млн. чел.

Профиль кластера: Самые высокие значения показателей экономической и торговой активности в страте.

Основные количественные и качественные характеристики кластера: Составляет 7% процентов от общего количества торговых точек страты. Данный кластер включает в себя 647 торговую точку и является наименьшим в страте. Ежемесячные продажи равны 6-8 тысячам рублей и это выше аналогичных показателей других кластеров данной страты. Доход населения, как и в других кластерах страты, оценена в 28 тысяч рублей. Средняя стоимость 1 квадратного метра жилья равна 50-53 тысячам рублей. Средняя стоимость аренды однокомнатной квартиры также не отличается от аналогичных показателей других кластеров страты и равна 12 тысячам рублей.

Количество МПН произвольного типа в радиусе 1000 метров равно 90 штукам и является очень высоким показателем, а торговых точек не ka-сетей в радиусе 1000 метров -155 штук, что также можно назвать очень высоким показателем. Количество торговых точек ka-сетей в радиусе 1000 метров - 20-21 единица. Железнодорожных станций в радиусе 1000 метров нет.

Количество остановок наземного общественного транспорта в радиусе 1000 метров около 15-18.

Географические характеристики кластера: Ближайшее МПН произвольного типа находится рядом, а до ближайшей ж/д станции далеко. До ближайшей остановки наземного общественного транспорта недалеко. Расстояние до ближайшей торговой точки не ka-сети низкое, она находится рядом, а до ближайшей торговой точки ka-сети также близко.

страта. Для третьей страты (1958 торговых точек) путем применения метода к-средних (глава 2 пункт 2.3) было получено оптимальное разбиение на 2 кластера по 13 признакам, так как в данной страте нет торговых точек близких к метро. Количество кластеров выбрано на основании оптимизации критерия Акаике.

Рисунок 36 Доля кластеров в третьей страте

·    10-й кластер - это удаленные районы и города, с более малочисленным населением.

Профиль кластера: Низкая экономическая активность, средняя степень торговой активности.

Основные количественные и качественные характеристики кластера: Составляет 55% процентов от общего количества торговых точек страты. Данный кластер включает в себя 1084 торговую точку. Доход населения оценен в 24 тысячи рублей, что ниже показателей 1-й и 2-й страт. Среднемесячные продажи оценени в 18 тысяч рублей, что знчительно выше показателей 1-й и 2-й страт. Характеризуется отсутствием МПН произвольного типа в радиусе 1000 метров. Количество торговых точек не ka-сетей в радиусе 1000 метров - от 15 до 40 штук. Торговых точек ka-сетей в радиусе 1000 метров -3 штуки. Железнодорожных станций в радиусе 1000 метров, как правило нет. Остановок наземного общественного транспорта в радиусе 1000 метров, у 75% точек нет, у остальных 25% - до 20 штук.

Географические характеристики кластера: МПН произвольного типа нет рядом, железнодорожных станций тоже нет. Нет поблизости остановок наземного общественного транспорта. Расстояние до ближайшей торговой точки не ka-сети низкое -находится рядом, а до ближайшей торговой точки ka-сети тоже близко.

·    11-й кластер - центры небольших городов, торговые зоны.

Профиль кластера: Значительная степень экономической и торговой активности.

Как правило отсутствуют железнодорожные станции в радиусе 1000 метров.

Количество остановок наземного общественного транспорта в радиусе 1000 метров: у 75% торговых точек нет, у остальных 25% - до 22 штук.

Географические характеристики кластера: Расстояние до ближайшего МПН произвольного типа низкое, а железнодорожных станций нет рядом, как и остановок наземного общественного транспорта. Расстояние до ближайшей торговой точки не ka-сети низкое, точки находятся рядом. Расстояние до ближайшей торговой точки ka-сети также низкое.

страта. Для четвертой страты (20 969 торговых точек) путем применения метода к-средних (глава 2 пункт 2.3) было получено оптимальное разбиение на 4 кластера по 12 признакам, так как в данной страте нет торговых точек близких к транспортной инфраструктуре. Количество кластеров выбрано на основании оптимизации критерия Акаике.

Рисунок 37 Доля кластеров в четвертой страте

·    12-й кластер - окраины маленьких населенных пунктов.

Профиль кластера: самые низкие показатели доходов, отсутствует транспортная инфраструктура, есть несколько магазинов.

Основные количественные и качественные характеристики кластера: Составляет 37% процентов от общего количества торговых точек страты. Данный кластер включает в себя 7682 торговые точки. Доход населения оценивается в 18-20 тысяч рублей, что значительно ниже аналогичных показателей других страт.

Ежемесячные продажи составляют 19-35 тысяч рублей. МПН произвольного типа в радиусе 1000 метров отсутствуют. Количество торговых точек не ka-сетей в радиусе 1000 метров равно 3 - 8 штукам. Отсутствие торговых точек ka-сетей в радиусе 1000 метров. Железнодорожных станций в радиусе 1000 метров нет, как и остановок наземного общественного транспорта. Расстояние до ближайшего МПН произвольного большое -далеко. До ближайшей ж/д станции также далеко. Удаленность от ближайшей остановки наземного общественного транспорта высокая -далеко. До ближайшей торговой точки не ka-сети близко, а ближайшая торговая точка ka-сети далеко.

·    13-й кластер - торговые зоны маленьких населенных пунктов

Профиль кластера:Средние показатели торговой активности, слабые признаки наличия транспортной инфраструктуры.

Основные количественные и качественные характеристики кластера: Составляет 31% процент от общего количества торговых точек страты. Данный кластер включает в себя 6514 торговых точек. Доход населения оценивается в 21-24 тысячи рублей, что значительно ниже аналогичных показателей других страт, но выше показателя 12-го кластера данной страты.

Ежемесячные продажи составляют 21-46 тысяч рублей. МПН произвольного типа в радиусе 1000 метров отсутствуют. Количество торговых точек не ka-сетей в радиусе 1000 метров равняется 18-28. Торговых точек ka-сетей в радиусе 1000 метров - 2-3 штуки. Ж/д станций в радиусе 1000 метров нет.

Остановок наземного общественного транспорта в радиусе 1000 метров нет у большинства, у некоторых до 3.

Географические характеристики кластера: Далеко до ближайшего МПН произвольного типа, до ближайшей ж/д станции также далеко, как и до ближайшей остановки наземного общественного транспорта. Ближайшая торговая точка не ka-сети рядом. Расстояние до ближайшей торговой точки ka-сети низкое -недалеко (до 1 км).

·    14-й кластер - маленькие населенные пункты с самой низкой степенью торговой активности

Профиль кластера: Самые низкие показатели торговой активности, с минимальным набором магазинов. Средний уровень доходов населения.

Основные количественные и качественные характеристики кластера: Составляет 20% процентов от общего количества торговых точек страты. Данный кластер включает в себя 4188 торговых точек. Доход населения оценивается в 24-26 тысяч рублей, что значительно ниже аналогичных показателей других страт, но выше показателей 12-го и 13-го кластеров данной страты. Ежемесячные продажи составляют 21-38 тысяч рублей.

Полное отсутствие МПН произвольного типа в радиусе 1000 метров.

Количество торговых точек не ka-сетей в радиусе 1000 метров - от 1 до 4 штук, а торговых точек ka-сетей в радиусе 1000 метров нет. Отсутствие ж/д станций в радиусе 1000 метров. Нет остановок наземного общественного транспорта в радиусе 1000 метров.

Географические характеристики кластера: До ближайшего МПН произвольного типа далеко, как и до ближайшей ж/д станции и ближайшей остановки наземного общественного транспорта. Расстояние до ближайшей торговой точки не ka-сети: у половины до 400м, остальные далеко. Расстояние до ближайшей торговой точки ka-сети -далеко.

·    15-й кластер - экономически активные населенные пункты с численностью менее 100 тыс. человек.

Профиль кластера: Единственный кластер, где присутствуют признаки экономической активности в страте. Самые высокие показатели торговой активности.

Основные количественные и качественные характеристики кластера: Составляет 12% процентов от общего количества торговых точек страты. Данный кластер включает в себя 2585 торговых точек. Доход населения равен 25-28 тысячам рублей, что значительно ниже аналогичных показателей других страт, но выше показателей других кластеров данной страты. Ежемесячные продажи составляют 24-52 тысяч рублей, что является наивысшим показателем среди всех страт.

Находится 2-7 МПН произвольного типа в радиусе 1000 метров. Количество торговых точек не ka-сетей в радиусе 1000 метров - от 14 до 28 штук, торговых точек ka-сетей в радиусе 1000 метров от 1 до 4 штук. Ж/д станций в радиусе 1000 метров нет. Количество остановок наземного общественного транспорта в радиусе 1000 метров - нет у большинства, у некоторых до 7.

Географические характеристики кластера: До ближайшего МПН произвольного типа близко, а до ближайшей ж/д станции далеко, как и до ближайшей остановки наземного общественного транспорта. Расстояние до ближайшей торговой точки не ka-сети низкое - находятся рядом. Расстояние до ближайшей торговой точки ka-сети - у половины до 500м, у остальных - далеко.

3.7 Кластеризация ассортимента торговых точек

Рисунок 38 Количество ТТ со сгруппированным ассортиментом

Путем применения двухэтапного метода кластерного анализа ассортимент торговых точек разделился на 5 кластеров. Силуэтная мера составляет 0,2, что является средним качеством разделения на кластеры. Размеры каждого из них можно увидеть на рисунке снизу. Самым большим кластером является первый, он составляет почти 59% (17 622 торговые точки) от всех кластеров. Наименьший по размеру 5 кластер он составляет почти 2% - это 452 торговые точки. Отличия от кластеризации торговых точек: Деление максимально не похожих друг на друга товаров , а ТТ объединялись по принципу похожести между ними.

 

17 Доля каждого кластера

Рисунок 39 Широта ассортимента в каждом кластере

·    Первый кластер - это группа ассортимента с самым маленьким выбором. Это конфеты или шоколадные плитки в маленьких упаковках. Такой товар скорее всего представлен на заправка или в маленьких палатках. Пять самых продаваемых товаров в данном кластере: шоколад Бабаевский горький 100 грамм, шоколад Аленка 15 грамм, шоколад Аленка 100 грамм, кондитерская плитка «Хорошая компания» с вафельной крошкой 80 грамм и шоколадная плитка «Хорошая компания» с арахисом 80 грамм.

·        Второй кластер - такая группа товара со средним выбором ассортимента относится к магазинам в городах, с численностью населения более 250 тысяч человек. Пять самых продаваемых товаров в данном кластере: кондитерская плитка «Хорошая компания» с вафельной крошкой 80 грамм, шоколад Аленка 20 грамм, шоколад Аленка много молока 100 грамм, шоколадная плитка «Хорошая компания» с арахисом 80 грамм и шоколад молочный Аленка с разноцветным драже.

·        Третий кластер - в данной группе представлен маленький выбор ассортимента. В основном это шоколадная продукция и вафельные торты. К такой категории товара можно отнести магазины в маленьких городах или поселках. Пять самых продаваемых товаров в данном кластере: шоколад Аленка 100 грамм, шоколад Аленка 15 грамм, шоколад Аленка 20 грамм, карамель «Москвичка» и шоколад Бабаевский горький 100 грамм

·        Четвертый кластер - это кластеры с большим выбором ассортимента. Такая группа товаров относится к большим фирменным магазинам кондитерских изделий в крупных городах. Пять самых продаваемых товаров в данном кластере: шоколад Аленка 100 грамм, карамель «Москвичка», шоколад Бабаевский горький 100 грамм, вафли «Коровка» со вкусом топленого молока и конфеты «Ромашка».

·        Пятый кластер - это кластеры с самым большим выбором ассортимента. Такая группа товаров относится к большим фирменным магазинам кондитерских изделий в городах-сателлитах. Пять самых продаваемых товаров в данном кластере: Конфеты Птичье молоко, карамель «Москвичка», шоколад Аленка 100 грамм, Бабаевский горький 100 грамм и вафли «Коровка» со вкусом топленого молока.

Можно сделать вывод, что самым популярным товаром является шоколад «Аленка». Именно этот товар встречается в каждом кластере в лидерах.

Вывод к третьей главе

Проведенные методом кластерного анализа исследования помогли разделить торговые точки на страты по местоположению, затем каждая страта была разделена на кластеры. В итоге такой кластерный анализ помог снизить однородность на 1,77. Были проанализированы и выявлены взаимосвязи между социально-демографическими показателями (пол, возраст, доход) и потребительским поведением. Также была проведена кластеризация ассортимента торговых точек, что позволило выявить то, что в крупнейшем по количеству точек кластере представлен наименьший ассортимент.

 

Заключение

Большие данные - это не очередной ажиотаж на ИТ-рынке, это системный, качественный переход к составлению цепочек ценностей, основанных на знаниях. По эффекту его можно сравнить с появлением доступной компьютерной техники в конце прошлого века. В то время как недальновидные консерваторы будут применять глубоко устаревшие подходы, предприятия, уже сейчас использующие технологии Big Data, в будущем окажутся на лидирующих позициях и получат конкурентные преимущества на рынке. Нет никаких сомнений в том, что все крупные организации в ближайшие годы внедрят эту технологию, так как за ней как настоящее, так и будущее.

Данная дипломная работа представляет собой научный, систематизированный подход к выбору месторасположения торговых точек, причем способы получения и анализа информации, с получением конечного результата, являются весьма бюджетными, позволяющими провести такую процедуру даже индивидуальным предпринимателям с небольшим оборотом денежных средств.

Учитывая рост темпов накопления информации, появляется острая необходимость в технологиях анализа данных, которые, в этой связи, также стремительно развиваются. Развитие данных технологий в последние годы позволило перейти от сегментирования клиентов на группы с аналогичными предпочтениями к построению моделей в режиме реального времени, опираясь, в том числе, на его запросы в интернет и посещения тех или иных страниц. Становится реальным выводить конкретные предложения и рекламу на основе анализа интересов потребителя, делая эти предложения намного более целевыми. Также возможны корректировки и перенастройка модели в режиме реального времени.

Кластерный анализ поистине можно назвать удобнейшим и самым оптимальным инструментом выделения сегментов рынка. Использование данных методов стало особенно актуально в век высоких технологий, в который так актуально ускорить трудоемкие и длительные процессы при помощи технологий. Переменные, используемые в качестве основания для кластеризации, правильным будет выбирать, опираясь на опыт предыдущих исследований, теоретических предпосылок, различных проверенных гипотез, а еще исходя из пожеланий исследователя. Помимо этого, рекомендуется взять соответствующую меру сходства. Отличительной особенностью иерархической кластеризации является разработка иерархической структуры. Самым распространенным и эффективным дисперсионным методом является метод Барда. Неиерархические методы кластеризации часто называют методами k-средних. Выбор метода кластеризации и выбор меры расстояния взаимосвязаны. В иерархической кластеризации важным критерием принятия решения о числе кластеров являются расстояния, при которых происходит объединение кластеров. Размеры кластеров должны быть такими, чтобы был смысл сохранить данный кластер, а не объединить его с другими. Надежность и достоверность решений кластеризации оценивают разными способами.

Проведенные методом кластерного анализа исследования помогли разделить торговые точки на страты по местоположению, затем каждая страта была разделена на кластеры. В итоге такой кластерный анализ помог снизить однородность на 1,77. Были проанализированы и выявлены взаимосвязи между социально-демографическими показателями (пол, возраст, доход) и потребительским поведением. Также была проведена кластеризация ассортимента торговых точек, что позволило выявить то, что в крупнейшем по количеству точек кластере представлен наименьший ассортимент.

Список литературы

1.   StatSoft - Электронные учебник по статистике

2.      Мандель И.Д. Кластерный анализ., 1988 год

.        Н.Паклин. «Кластеризация данных: масштабируемый алгоритм CLOPE».

.        Олендерфер М. С., Блэшфилд Р. К. Кластерный анализ / Факторный, дискриминантный и кластерный анализ: пер. с англ.; Под. ред. И. С. Енюкова. - М.: Финансы и статистика, 1989-215 с.

.        Дэниал Фасуло «Анализ последних работ по алгоритмам кластеризации».

.        Н. Паклин «Алгоритмы кластеризации на службе Data Mining».

.        Дюран Б., Оделл П. Кластерный анализ. М.: Статистика, 1977 год

.        Жамбю М. Иерархический кластер-анализ и соответствия, 1988 год

.        Хайдуков Д. С. Применение кластерного анализа в государственном управлении// Философия математики: актуальные проблемы. - М.: МАКС Пресс, 2009. - 287 с.

.        Классификация и кластер. Под ред. Дж. Вэн Райзина. М.: Мир, 1980.

.        Трион Р.C. Кластерный анализ- Лондон:, 1939. - 139 p.

.        Бериков В. С., Лбов Г. С. Современные тенденции в кластерном анализе 2008. - 67 с.

.        Вятченин Д. А. Нечёткие методы автоматической классификации. - Минск: Технопринт, 2004. - 320 с.

.        И. А. Чубукова Data Mining. Учебное пособие. - М.: Интернет-Университет Информационных технологий;

.        Н. Паклин. «Кластеризация категорийных данных: масштабируемый алгоритм CLOPE».

16.    Sudipto Guha, Rajeev Rastogi, Kyuseok Shim « CURE: эффективный кластерный алгоритм для больших баз данных». Электронное издание.

17.    Tian Zhang, Raghu Ramakrishnan, Miron Livny « BIRCH: эффективный метод кластеризации данных для очень больших баз данных ».

.        Н. Паклин «Алгоритмы кластеризации на службе Data Mining».

.        Ян Янсон «Моделирование ».

20.    И. А. Чубукова Data Mining. Учебное пособие., 2006.

.        «Доступная аналитика данных», Anil Maheshwari

.        Кеннет Кекьер «Большие данные: революция, которая изменит нашу жизнь, работу и мысли»

.        Кэти О'нейл и Рейчел Шутт “Наука о данных”