[ОТВЕТИТЬ]
03.03.2011 22:07  
fsecrets.ru
Это и есть простенькие модели сезонной декомпозиции.

P_1=P_0*P_(1-T)/P_(0-T) - мультипликативная модель, лучше использовать при нисходящем тренде или стагнации.
P_1=P_0+P_(1-T)-P_(0-T) - аддитивная модель, рекомендуется при восходящем тренде и при большом коэффициенте вариации.

P_m- объем за перид m
T - период цикла (год, квартал и т.д.)

ARIMA сложнее изобразить в виде формулы, как и ARIMAX.
 
03.03.2011 23:07  
Anatoly
:
Это и есть простенькие модели сезонной декомпозиции.

P_1=P_0*P_(1-T)/P_(0-T) - мультипликативная модель, лучше использовать при нисходящем тренде или стагнации.
P_1=P_0+P_(1-T)-P_(0-T) - аддитивная модель, рекомендуется при восходящем тренде и при большом коэффициенте вариации.

P_m- объем за перид m
T - период цикла (год, квартал и т.д.)
Вы начинаете уходить от вопросов. Вы сами конкретно используете эти модели? То что "рекомендуется" мы в книгах тоже читаем.
Вы реально встречали аддитивную сезонность?
Вас попросили выложить модель в Excel на реальных данных. Прошу Вас это сделать по тем формулам что Вы привели, а мы подивимся эффективности прогноза.

Вы так и не ответили на мой вопрос выше:
:
:
Для борьбы с пиками и выбросами применяют экспоненциальное сглаживание (1,2,3 порядка), чем выше порядок, тем больше сглаживаются выбросы.
Добрый вечер!
Мне как раз очень интересен данный момент, я даже создал отдельную тему "Корректировка статистики продаж по дефициту и пикам". Не могли бы Вы в той теме, которую я создал для этого вопроса, показать пример корректировки статистики продаж по Вашему алгоритму. Желательно сделать его на примере тех данных, которые уже выложены - так мне будет проще разобраться. Ну и конечно интересует подробный алгоритм всех действий (приблизительно так как это описал Андрей или Валерий) для возможности автоматизации данного процесса в учетной системе, т.к. выгружать статистику по каждой отдельной позиции во внешнюю программу не разумно с позиции затрат времени и сил.
Буду благодарен!
Извините, но складывается впечатление, что Вы работаете преподавателем в институте, а о том что творится в реальности - имеете не совсем четкое представление. Ничего личного, но Вы сами уходите от вопросов и наталкиваете на эту мысль.
 
04.03.2011 00:42  
KaPrAL
:
...один сотрудник не сможет с помощью SQL прикручивать и пересчитывать модели прогнозирования, например по 1000 товарных категорий по каждой точке реализации в отдельности, если их хотя бы пару тыс.
Прогнозировать по каждой точке реализации в отдельности бессмысленно и ошибочно, точно также, как прогнозировать по каждому товару в отдельности. Точки реализации объединяют в группы по городам, областям, регионам, площадям самих точек, проходимости и т.п. Точно также товары объединяются в товарные группы (категории, как вы и сказали). И прогнозируются продажи каждой товарной группы в каждой группе точек реализации. Затем сопоставляются продажи каждого товара в каждой точке реализации, масштабируются линейной регрессией k*x+b (желательно с b=0), и получается прогноз в разрезе: "Товар---Точка реализации".
Если специфика товара такова, что он имеет 12-ти месячную сезонность, то можно обойтись только SQL-ем (линейным трендом с коэффициентами сезонности), но если сезонность представляет собой гармоники с частотой, отличной от 1/12, то на любом языке программирования несложно написать формулу, на вход которой подается массив, а на выходе- прогноз. Суть такой формулы описана во многих источниках: сначала находится наиболее вероятная степень полинома тренда, затем тренд удаляется, находится наиболее вероятное количество гармоник, определяются их первоначальные частоты периодограммой, затем рекурсией уточняется каждая из частот, возвращается тренд, и по-новой переопределяются параметры спроса. Трёх итераций обычно достаточно. Только не забыть учесть периоды кризиса, в моменты перехода которого тренд разрывался, и воспользоваться этой единой функцией для прогнозирования каждой товарной категории в каждой группе точек реализации.
В зависимости от исходных данных, функция дает прогнозы. О каких "моделях" идет речь?
:
Второй минус если человек 1, он становится незаменимым, и даже если его эффективность падает, заменить его становится некем, так как разбираться в чьем то мускул-коде, который может быть не документированным. Так как есть у Кулибиных минусы в том, что если его кто-то хочет кинуть, то документации какой-то внятной не остается.
Риски всегда были, есть и будут, только рассматривать их стоит в тандеме с затратами и эффективностью, и выбирать свою нишу. Знаю несколько известных компаний, системы учета которых держатся на одном-единственном человеке- руководителе IT-департамента, заменить которого некем, т.к. обычно он её и разрабатывал, и разрабатывает, и поддерживает, и все довольны. Также знаю компании, бесполезно потратившие несколько десятков лямов "консультантам-внедренцам" за ту же пресловутую 1С-ку, которая за 2 с лишним года с начала внедрения заработала лишь на 40%.
:
Я понял, почему мы иногда друг друга не очень понимаем, потому что мы работаем немного с разным количеством данных, я работаю с топовыми промышленными системами, Вы пользуетесь тем, что может позволит себе компания и потом пытаетесь сделать из того, что есть конфету.
Согласен, вы работаете с розницей, с террабайтными высоконагруженными хранилищами, а я в скромном опте с базой в 100 Гигов, и то использую меньше одного гига для своих нужд, поэтому и выбор инструментария разный: нас пока устраивает MS. Кстати, зря вы так пренебрежительно относитесь к MS Analysis Servaces, пусть он и без клиента, но бизнес-логику в нем можно задать любую, и производительность не на последнем месте. В отличие от Cognos-а с его костылями, MS очень даже ничего...
И еще, компания не "даёт то, что может позволить", а позволить она себе может многое, любой инструментарий. Руководство не раз обращалось ко мне с просьбой его усовершенствования. Я же в свою очередь настаиваю на наиболее эффективном варианте для текущих объёмов: MS.
:
Я тоже когда-то был за такой подход, пока не понял, что "умные" дядьки давно уже ушли вперед и почему бы не пользоваться этими умностями, не извращаясь в Excel-е, хотя и продолжаю это делать.
Простите, а о каких "умностях" вы говорите? Если об OLAP-е, то вся "умность" зависит не от платформы, а от архитектора и от MDX-писаки. Если же вы имеете в виду Data Mining, то уже ответили сами:
:
...сам категорически против "черных ящиков".
Так чем же может похвастаться "умная платформа"?
:
Нейронные сети???? Честно - хорошая шутка, вот Вы мне скажите, Вы используете нейронные сети? Я тоже нет для прогнозирования. Логично применять для клиентской аналитики и прогнозирования определенных событий, но это практически "черный ящик".
Для прогнозирования пока не использую, а не использую, пока не разработаю свою сеть, т.к. пользоваться готовым "черным ящиком" не рискну. Сеть можно и нужно использовать для прогнозирования многофакторных событий, ведь только она реализует нелинейную регрессию.
 
04.03.2011 09:06  
fsecrets.ru
2 Kapral
Да, использую, но я не прогнозирую реализацию товаров, я работаю в телекоме, реализация услуг в котором имеет очень хорошую сезонную динамику, я больше чем уверен, что реализация каждой партии имеет свою динамику, которая очень будет похожа на распределение Гаусса. То, что я написал в качестве рекомендуется взято не из литературы, а набитые шишки долгими годами практики. Вы не можете написать простую формулу в ячейке и растянуть? Очень печально.
Не поверите, действительно есть аддитивная динамика, она существует в природе. :lol:

Хотите подивиться, ОК, берем карандаш, рисуем график на 13 месяцев с декабря, потом сверху прикладываем кальку и обводим график, потом кальку сдвигаем вправо таким образом, чтобы декабрь первый соответствовал декабрю последнему, вуаля аддитивная модель :D

Видите ли 100 Гб и 200 Тб цифры немного разного порядка.

Черный ящик относился не ко всем алгоритмам Data mining-а, не нужно передергивать, я сказал, что в данном случае упомянутые Вами нейронные сети относится к черному ящику, алгоритмы кластеризации, деревья решений, очень отлично представляются визуально и их можно четко интерпретировать почему именно такой ответ, а не иначе.

Умная платформа ничем не может похвастаться, Вы просто гуру, я преклоняю перед Вами колени, а Вы продолжаете писать SQL запросы, тестировать их, долго и упорно распределять продажи в Excel-е в то время, как я их формирую drug&drop-ом в режиме визуализации и исполняю на серваке за секунды. В то время как Вы еще проводите анализ, я уже разработал стратегию и как только Вы приступаете к реализации стратегии, я уже на рынке с предложением. А Вы вдруг выяснили, что забыли учесть некий параметр в анализе:) А так мы с Вами делаем почти все то же самое
Только одна из заповедей маркетинга, любое предложение должно быть in time. А MS на моих 200Тб как-то in time не справляется. Как бы я хотел, чтобы справлялся. Если бы объем данных не увеличивался, тогда Terradata и Oracle со своей Exadata разорились бы.

Ну так если Вы нейронные сети не использовали, к чему это было замечания для SPSS? Просто показать свой уровень ерундиции, я оценил, спасибо.
Я не хочу сильно защищать IBM, но Вы когда последний раз Cognos видели, наверное начальные его версии, так знаете многие с Oracle Discoverer, который сам Oracle уже года 3 как не поддерживает, плюются, чертыхаются, дуют щеки и говорят, фу какие костыли. Так ясен пень, тогда MS лучшая платформа на земле.

PS
Спасибо за проведенную лекцию по прогнозированию , так я ж препод зачем мне все это Вы кстати ответили в ней почему необходимы инструменты.
В дальнейшем я бы не хотел переходить на личности, а Ваша эмоциональная окраска постов немного вызывает опасение, складывается впечатление, что пришел человек (я имею себя) в чужой монастырь, все выскочили и давай мериться одним местом. Я предлагаю как-то конструктивнее, я понимаю, что здесь собрались самые умные люди планеты, но не повод себя так вести. Незнакому человеку говорить какие-то гадости, обзывать теоретиком, преподом и т.д.

Я понимаю, что я немного не в свою тему влез, но немножечко в методах прогнозирования пытаюсь разобраться, конечно не на таком уровне как Вы, Вы-то ого-го. Спасибо Вам большое, что раскрыли мне глаза на многие вещи, впредь попытаюсь быть более сдержанным и не писать то, в чем вообще не разбираюсь, пойду учить студентов.
 
04.03.2011 10:50  
Anatoly
fsecrets.ru, давайте без истерики по факту:
я не люблю когда не отвечают за свои слова (такой я есть), как говорится, назвался груздем - полезай в кузовок.
Я вынужден просить Вас по 2-3 раза ответить на вопрос, это нормально? Нет, это не нормально.

Я прошу Вас в 3ий раз:

:
:
Для борьбы с пиками и выбросами применяют экспоненциальное сглаживание (1,2,3 порядка), чем выше порядок, тем больше сглаживаются выбросы.
Добрый вечер!
Мне как раз очень интересен данный момент, я даже создал отдельную тему "Корректировка статистики продаж по дефициту и пикам". Не могли бы Вы в той теме, которую я создал для этого вопроса, показать пример корректировки статистики продаж по Вашему алгоритму. Желательно сделать его на примере тех данных, которые уже выложены - так мне будет проще разобраться. Ну и конечно интересует подробный алгоритм всех действий (приблизительно так как это описал Андрей или Валерий) для возможности автоматизации данного процесса в учетной системе, т.к. выгружать статистику по каждой отдельной позиции во внешнюю программу не разумно с позиции затрат времени и сил.
Буду благодарен!
И прошу во второй раз:
:
:
Это и есть простенькие модели сезонной декомпозиции.

P_1=P_0*P_(1-T)/P_(0-T) - мультипликативная модель, лучше использовать при нисходящем тренде или стагнации.
P_1=P_0+P_(1-T)-P_(0-T) - аддитивная модель, рекомендуется при восходящем тренде и при большом коэффициенте вариации.

P_m- объем за перид m
T - период цикла (год, квартал и т.д.)
Вы начинаете уходить от вопросов. Вы сами конкретно используете эти модели? То что "рекомендуется" мы в книгах тоже читаем.
Вы реально встречали аддитивную сезонность? Реально на практике! Карандашом можно любую фантазию нарисовать.
Вас попросили выложить модель в Excel на реальных данных. Прошу Вас это сделать по тем формулам что Вы привели, а мы подивимся эффективности прогноза.
 
04.03.2011 11:17  
KaPrAL
:
Да, использую, но я не прогнозирую реализацию товаров, я работаю в телекоме, реализация услуг в котором имеет очень хорошую сезонную динамику, я больше чем уверен, что реализация каждой партии имеет свою динамику, которая очень будет похожа на распределение Гаусса.
Распределение Гаусса- нормальное распределение, т.е. случайное. Если есть сезонность, значит динамика уже не случайна. Если вы уверены, что каждая партия имеет свою динамику, то если сезонность классическая 12-ти месячная, эффективнее использовать коэффициенты сезонности, чем искать гармоники, тогда динамика реализации каждой партии будет иметь свой тренд и свои коэффициенты сезонности. Аддитивную ли модель использовать, или мультипликативную- вам решать, но есть замечательные базисы вейвлетов. Можно попробовать разложить ряд по ним.
:
Вы не можете написать простую формулу в ячейке и растянуть? Очень печально.
Не поверите, действительно есть аддитивная динамика, она существует в природе. :lol:
Хотите подивиться, ОК, берем карандаш, рисуем график на 13 месяцев с декабря, потом сверху прикладываем кальку и обводим график, потом кальку сдвигаем вправо таким образом, чтобы декабрь первый соответствовал декабрю последнему, вуаля аддитивная модель :D
Это, видимо, адресовано Anatoly.
:
Видите ли 100 Гб и 200 Тб цифры немного разного порядка.
Конечно разного! Но из всех этих двухсот Тб полезной информации для анализа не больше 100 Гб. (ориентировочно)

:
Умная платформа ничем не может похвастаться
А я о чем?! Стоит ли она своих нескольких десятков лямов???

:
...а Вы продолжаете писать SQL запросы, тестировать их, долго и упорно распределять продажи в Excel-е в то время, как я их формирую drug&drop-ом в режиме визуализации и исполняю на серваке за секунды. В то время как Вы еще проводите анализ, я уже разработал стратегию и как только Вы приступаете к реализации стратегии, я уже на рынке с предложением. А Вы вдруг выяснили, что забыли учесть некий параметр в анализе:)
Показатели (меры) бывают двух видов:
1) Фактические (запасы, продажи, заказы и пр.).
2) Расчетные (прогнозы, планы, КЗ, оптимальные заказы и запасы и пр.). Многие из них вычисляются рекурсивно, поэтому они расчитываются на уровне хранилища ETL-ем, а не MDX-ом в момент запроса.
Оба вида показателей представляют собой меры, которые обновляются в OLAP-хранилище по-ночам, во избежании рассогласования данных и нагрузки серверов, поэтому делая drug&drop отчеты, вы используете меры, обновленные ночью. И не важно, каким образом они рассчитаны: на уровне куба или ETL, данные-ночные, поэтому об on-line отчетности можете забыть, если обращаетесь к кубам. SQL же обращается к реляционке, и отчеты получаются on-line, поэтому в то время, когда вы будете крутить вчерашние данные, я уже разработаю стратегию по свежим данным.

:
А MS на моих 200Тб как-то in time не справляется.
Может быть у вас не очень грамотная архитектура реляционки или кубов была на MS? Кубы MS без особо сложно-вычисляемых мемберов потянет, если разбивать меры на партиции, и процессить только последнюю из них.

:
В дальнейшем я бы не хотел переходить на личности, а Ваша эмоциональная окраска постов немного вызывает опасение, складывается впечатление, что пришел человек (я имею себя) в чужой монастырь, все выскочили и давай мериться одним местом. Я предлагаю как-то конструктивнее, я понимаю, что здесь собрались самые умные люди планеты, но не повод себя так вести. Незнакому человеку говорить какие-то гадости, обзывать теоретиком, преподом и т.д.
Это, видимо, тоже адресовано не мне, т.к. я не переходил на личности, с психикой вроде все пока в порядке (тьфу-тьфу), и не обзывался ни "теоретиком", ни "преподом". Извините, если что-то вас обидело в каком-либо из моих сообщений. У меня нет byt было цели кого-то обидеть или чем-то помериться, цель одна: объективная критика существующих методов анализа и инструментария. Грустно видеть, что втюхиваемая за десятки миллионов система не стоит и ста тысяч...
 
04.03.2011 11:59  
fsecrets.ru
Anatoly рад, что Вы мой стеб приняли за истерику :D
Выложил простой пример.
 
04.03.2011 12:12  
fsecrets.ru
KaPrAL
В вопросе IT как и в медицине не бывает одинаковых мнений. В телекоме к сожалению, мы не можем себе позволить не тарифицировать соединения абонентов, и поэтому и объемы такие какие есть.

BI система не стоит больших денег, больших денег стоит интеграция с несколькими системами, биллингом, инвентори и т.д., хранилища стоят больших денег, сервера стоят больших денег. А несколько миллионов стоит комплексное решение. А умеет все делать система за 2 тыс. долл. на 1 пользовательскую лицензию. Так что смотря что считать дорогим.

Спасибо что просвятили на счет данных.
Пока Вы будете загружать на MS SQL- несколько ночей мои данные за одни сутки, Вам точно будет не до стратегии. :D
 
04.03.2011 12:22  
Anatoly
:
Выложил простой пример.
Спасибо, но я не могу его скачать, пытался несколько раз с разных компов.
Прикрепите, пожалуйста, файл к Вашему ответу на это сообщение.
Спасибо.
 
04.03.2011 12:29  
fsecrets.ru
Битая ссылка была, обновил.
 
 






- - RSS - - Карта - 👫 Яндекс.Метрика