Inventor: анализ совместных продаж / кластерный анализ : Закупщик

Ты объединяешь в одну группу позиции, у которых коэффициент совместимости продаж - больше всех остальных. После этого заново пересчитываешь эти коэффициенты для всех пар, а объединённые позиции воспринимаешь уже как одну. Однако коэффициенты нужно считать только для пар, в которых участвует эта новая объединённая позиция. Я предлагаю не пересчитывать заново все те коэффициенты, которые после пересчёта заведомо не изменятся, а пересчитывать только те, которые образовались после последнего объединения позиций в группу совместимости.

Так, Валера, давай подумаем...

Да, на каждом уровне кластеризации формируется список совместно продаваемых товаров и на основе этого списка выделяются кластеры. Дело в том, что все товары из этого списка объединяются в кластера, т.к. в этот список изначально попадают пары с характеристиками не ниже заданных (коэффициент совместности, количество продаж). Т.е. сначала формируются все кластеры одного уровня, а потом мы заменяем в исходном массиве старые названия номенклатуры на названия вновь образовавшихся кластеров. После этого из исходного массива удаляются одинаковые строки и анализ проводится только по уникальным строкам. Затем формируется список уникальной номенклатуры, которая встречается в исходном массиве. Для каждой позиции из списка уникальной номенклатуры проводится анализ совместных продаж, в анализе участвуют только те документы, в которых эта позиция продавалась.

Да, на следующем уровне кластеризации логично не проводить анализ по позициям уникальной номенклатуры из исходного массива, для которых не было изменений ни в одном документе продажи из тех, в которых они продавались (выделить эти документы тоже время). Вот только я думаю, что таких документов и позиций будет крайне мало, и это скорее всего те позиции, которые продавались единично в отдельных документах и по результату анализа не попали ни в один кластер. Единственный случай, когда это может дать существенную экономию времени, это когда пользователь изначально задал заведомо большие параметры (коэффициент совместности, количество продаж) и тогда часть документов реально можно отбросить, вот только первый наиболее длительный уровень кластеризации проводить необходимо всегда в полном объеме.
Валера, правильно ли я тебя понял и логичны ли мои рассуждения?

Да, Андрей - ты понял меня совершенно правильно. Жаль, что моя идея не позволит значительно сократить время работы алгоритма...

Зато другие твои идеи послужили основой для его создания ;)

Всем привет! А есть ли версия EXCEL2010?

Привет.
2010 Excel ничем в данном случае не отличается от 2007, так что предлагаемый файл подходит и к 2010 версии без каких-либо ограничений.

Для уменьшения риска возникновения ошибки "out of memory" я оптимизировал размер массивов.
Насколько эффективно данное решение - покажет тест на выходных, по результатам напишу.
Последняя версия утилиты Inventor: кластерный анализ во вложении.

Вложения

Inventor_кластерный анализ_V3.rar (122.0 Кб, 697 просмотров)

А, если всё будет хорошо, то ты заменишь ей модуль кластерного анализа в основном Inventor-е? Спрашиваю, для указания, корректной ссылки. ;)

Нет, Валера, в основную надстройку этот модуль вводить не буду. Причина проста: пользоваться им будут раз в год и далеко не все (поэтому нет проблем с удобством из-за отдельного модуля), а вот надстройка станет тяжелее и количество кнопок на панели инструментов ограничено размером 1024 пикселя (мониторы с данным разрешением все еще активно используются, судя по данным метрики).
Для ссылки вполне может подойти эта страница. Думаю, для человека, который первый раз попадает на данный сайт это нормальный вариант.

Ну что ж: время анализа не изменилось (собственно, это и не ожидалось, т.к. алгоритм и количество операций не менялись), а вот риск возникновения ошибки "out of memory" уменьшен. По крайней мере, на тестируемом компьютере данная ошибка не повторилась.
Так же результат теста натолкнул меня на следующую гипотезу: при занижении параметров кластеризации мы повышаем риск ошибки "out of memory", т.к. получаем слишком большое количество уровней кластеризации. Например, при тесте я поставил слишком маленькие параметры и в результате получил 122 уровня кластеризации. Это хорошо, конечно, когда весь ассортимент в результате образует один большой кластер, но это не самоцель. Кластера нужно выделять по адекватным характеристикам, а не по заниженным, пусть даже часть ассортимента при этом окажется вне кластеров.
Думаю, что предварительно оценить какие параметры кластеризации нужно выставить, поможет анализ совместных продаж, как по отдельным позициям, так и тотальный. Эти функции есть в модуле кластерного анализа.