Как бороться с пересортом на весах самообслуживания? : Торговые весы

Давайте начистоту: где есть самообслуживание ― там есть пересорт. Иногда покупатели выбирают другой товар по ошибке, но могут и хитрить: выдавать дорогие позиции за дешёвые в надежде на то, что кассир не заметит подмены.

Значит ли это, что пора отправлять весы на свалку? Конечно, нет. Обойти мошеннические схемы помогает компьютерное зрение 👀. Как это работает:

🔷 Покупатель кладёт товар на весы, камера делает снимок и отправляет его нейросети. Та определяет, на что похоже изображение, и даёт покупателю выбрать из нескольких самых близких вариантов.

🔷 Если покупатель не следует рекомендациям, а ищет в меню что-то своё, к делу подключается дополнительная нейросетевая модель для классификации товаров. Она определяет, похож ли выбранный продукт на тот, что лежит на весах.

🔷 Когда алгоритмы замечают различия, они дают команду весам, и те печатают этикетку с меченым штрихкодом: внутри обычного рисунка закодирован специальный сигнал для кассы.

🔷 Кассовая система, увидев «неправильную» этикетку, выдаёт окно предупреждения. С его помощью кассир поймёт, что товар нужно проверить и, возможно, перевзвесить. Обвинять никого не придётся: достаточно вежливо сказать покупателю, что он ошибся.

Такая же схема работает и на КСО, только вместо окна с ошибкой ― жёлтая лампочка и сообщение, что товар должен подтвердить сотрудник магазина.

Это все хорошо, только не указано, что для того, чтобы обучить нейросеть, потребуется несколько месяцев работы. И все наработки одной сети, никак не подойдут к наработкам другой.
А так в целом механизм рабочий.

Я так понимаю, что все это время сначала рядом должен стоять учитель, который будет эту нейросеть тренировать?
Интересно, какие ресурсы нужны для работы этой системы за кулисами?

Нет, не так, система проходит самообучение под конкретную сеть и товар и лучше, если специально обученный человек туда свои ручонки класть не будет :) Потому что обученный человек будет класть товар однотипно и правильно, а покупатель кладет товар как рука дрогнула, не обязательно в центре, не обязательно упакованный, не обязательно в пакет сети и т.п.

1. Весы имеют связь с сервером распознавания товаров, где создается профиль под конкретного клиента/заказчика.
2. Весы находятся первые два месяца в режиме обучения, на экране весов никак это не отражается:
- покупатель кладет товар на весы, как он это делал всегда
- система каждый раз делает фото товара и делает соотношение: фото-товар
- таких картинок по хорошему нужно 200-300 на один товар, но чем больше, тем лучше
3. Через пару месяцев проходит анализ данных владельцами сервера (это услуга)
- они вычищают несоответствия, ошибочные картинки товар - фото, где идет полное несоответствие из-за ошибок покупателей
- вычищают некорректные фото, бракованные фото
- дают задание специально обученному специалисту в сети взвешивать редкие товары, по которым фотографий недостаточно.
4. Система запускается в боевой режим
5. При выкладывании товара на весы система распознает что за товар туда положили, как правило предлагает 3 на выбор для подтверждения покупателем, по релевантности совпадения с накопленной базой фото по конкретному товару
6. У покупателя все равно есть возможность опровергнуть выбор системы. Все "ручные" опровержения будут системой помечены как рисковые, эти инциденты можно будет посмотреть и разобрать. Возможно система ошиблась, а может клиент пытался вместо арбуза телевизор купить, предварительно взвесив, чтобы смело пройти через кассу самообслуживания, отсканировав на телевизоре весовую этикетку.
7 Система постоянно продолжает самообучаться и копить фотографии товара для распознавания.
8. Владельцы сервиса продолжают чистить на сервере с периодичностью некорректные фото.
9. Каждый месяц процент опознания товара растет, вместе с базой фотографий для опознания. В итоге, в идеале, процент распознавания должен вырасти до 95-98%.

Для сети магазинов распознавание товаров нужно не с целью развлечь покупателя, а с целью достичь максимально высоких показателей % покупателей использующих автоматическое распознавание товаров!

Причины: машина ошибается в разы меньше, чем покупатель, система работает быстрее, чем покупатель.

Поэтому в некоторых сетях специально дают различные разъяснения, агитки, подсказывающие таблички, чтобы переучить покупателей от ручного выбора товара путем тыканья в экран. Считается отличным показателем, если таких покупателей будет 70-80%. Понятно, что останутся олдовые, которые до сих пор по группам будут товары искать ручками.