Главная / Проекты / Аудит ассортимента с распознаванием для JTI
Image Recognition Аудит выкладки Мобильное приложение FMCG

Аудит ассортимента с распознаванием изображений

Торговые представители JTI фотографировали полку для распознавания, но результат видели только на следующий день — когда уже уехали из точки. GROTEM связал SFA-систему «Ева» с приложением распознавания напрямую, и теперь результаты аудита приходят в анкету прямо во время визита.

  • В том же визите — результаты распознавания вместо следующего дня
  • 2 формата розницы — традиционная торговля и сети с аудитом по каждой кассе
  • Автозаполнение анкеты — наличие продуктов проставляется по фото
  • Каждая ручная правка помечена — и уходит в BI для разбора
История аудита с распознаванием в «Еве»
Клиент
Отрасль FMCG, табачная промышленность
масштаб 1 000+ рабочих мест полевой команды
география Вся Россия
решение Интеграция SFA-системы «Ева» с системой распознавания
01
Контекст

Клиент и исходная ситуация

JTI Россия — лидер табачного рынка страны. Её полевая команда работает в SFA-системе «Ева», которую GROTEM разработал на замену Oracle Siebel и развивает с 2023 года.

Одна из главных задач визита — аудит ассортимента: есть ли на полке нужные марки JTI. Для этого у JTI есть отдельное приложение распознавания изображений со своим каталогом продукции: представитель фотографирует полку, а система находит на фото продукты.

Форматы розницыТрадиционная торговля (General Trade) и сети (Key Account)
Кто проводит аудитТорговые представители JTI
ИнструментыМобильное приложение «Ева» и приложение распознавания
ГеографияВся Россия

Что происходило до начала проекта

  • Результаты распознавания приходили в «Еву» через серверную интеграцию только на следующий день. В визите активность числилась выполненной, но без результата.
  • Аудит с распознаванием работал только в традиционной рознице. В сетях продукция стоит на нескольких кассах, и проверять нужно каждую.
  • Представитель не мог прямо в точке увидеть, что система не распознала продукт, и переснять фото.
02
Цели и задачи

Каких результатов хотел достичь клиент

Цель проекта

Ускорить аудит торговых точек за счёт распознавания фото и получить прозрачную историю аудитов, в которой видны все ручные исправления.

01

Показывать результат в визите

Подтягивать распознанные продукты в анкету аудита, пока представитель ещё в точке.

02

Расширить аудит на сети

Дать фотоаудит по каждой кассе сетевого магазина.

03

Сохранить ручной контроль

Оставить представителю возможность поправить результат или провести аудит вручную, если распознавание дало сбой.

04

Сделать правки прозрачными

Отмечать ручные ответы, чтобы JTI могла разбирать причины корректировок.

03
Решение

Что разработала команда GROTEM

GROTEM встроил распознавание в сценарий визита «Евы»: представитель не выходит из аудита, а результат сразу заполняет анкету. Решение состоит из трёх частей.

Интеграция с распознаванием

Фото полки — и анкета заполнена

Из активности аудита представитель переходит в приложение распознавания, делает фото и возвращается в «Еву». Когда отчёт готов, представитель нажимает «Обновить» — и наличие продуктов JTI проставляется в анкете автоматически:

  • визит в приложении распознавания запускается сразу по нужной точке и её координатам;
  • если продукт из ассортиментной матрицы не найден, можно сразу переснять полку;
  • снимки делаются только живой камерой — старое фото из галереи не подложить.
  • Image Recognition
  • Интеграции
  • Мобильное приложение
Аудит в сетях

Проверка каждой кассы

В сетевом магазине представитель добавляет работающие кассы и фотографирует каждую. Результат можно обновить по одной кассе или сразу по всем, а лишнюю или закрытую кассу — удалить.

  • Аудит выкладки
  • Key Account
Прозрачность аудита

Ручной режим с пометкой и полная история

Если распознавание ошиблось или недоступно, представитель заполняет анкету вручную и завершает визит. Каждый ручной ответ отмечен пиктограммой. В истории визита остаётся полный отчёт — фото и распознавание по каждой кассе, а данные уходят в BI-отчётность JTI.

  • История аудитов
  • BI
  • Контроль качества данных
04
Сложность

Особенности проекта

Задача была в том, чтобы подружить два разных приложения на телефоне представителя и не потерять достоверность данных.

01
Чужое приложение распознавания

Камера и распознавание — отдельное приложение JTI, не часть «Евы». Его нужно было запускать с нужным контекстом и получать от него результат без ночной интеграции через бэкенд «Евы».

02
Результат приходит не сразу

Фото обрабатываются в облаке после загрузки, при слабой связи — с задержкой. Интерфейс должен понятно показывать, по каким кассам ответ уже есть.

03
Два каталога продукции

Система распознавания знает и продукцию конкурентов, а в анкету должны попасть только марки JTI, точно сопоставленные с каталогом «Евы».

04
Автоматика не должна блокировать работу

При любом сбое перехода или распознавания представитель должен закончить аудит. При этом ручные ответы нельзя было смешивать с автоматическими.

05
Инженерная часть

Что было важно реализовать на уровне системы

Главное решение — убрать бэкенд «Евы» из цепочки и связать приложения напрямую на устройстве. Ниже — как это устроено.

Прямой обмен между приложениями AndroidПриложение распознавания, получив отчёт, рассылает системное broadcast-сообщение со ссылкой на него. «Ева» перехватывает его, сохраняет отчёт и подставляет результат в анкету.
Нативный модуль внутри FlutterМобильное приложение написано на Flutter, а приём сообщений реализован на Kotlin.
Сопоставление по внешнему IDРаспознанные продукты связываются с каталогом «Евы» по идентификатору SKU JTI, продукция конкурентов отсеивается.
Признак ручного ответаХранится вместе с ответом и доходит до истории визита, веб-кабинета и BI.
Контроль места аудитаВизит передаётся в приложение распознавания с координатами точки, так что съёмку вне точки легко выявить.
06
Результаты

Что получил бизнес

Результаты распознавания теперь приходят в том же визите, а не на следующий день. Аудит проходит быстрее, а JTI видит, где автоматику поправил человек.

В том же визите

результат распознавания приходит, пока представитель в точке, а не через сутки

2 формата

розницы с фотоаудитом: традиционная торговля и сети

Каждая касса

сетевого магазина — фотоаудит проводится отдельно

Все правки

ручные ответы отмечены: JTI видит, где человек поправил автоматику

Процесс
До проекта
После запуска
Результаты распознавания
На следующий день, через сервер
В анкете во время визита
Фотоаудит в сетях
Не проводился
По каждой работающей кассе
Нераспознанный продукт
Виден уже после визита
Виден в точке, можно переснять
  • Автоматическое распознавание ускоряет аудит, а ручная корректировка закрывает ошибки алгоритма.
  • JTI получила прозрачную историю аудитов и может разбирать причины ручных правок.
  • Даже при сбое распознавания визит не срывается — представитель заканчивает аудит вручную.
  • Схема переиспользуется: сейчас к «Еве» подключается вторая система распознавания — Inspector Cloud, а нужную систему выбирают в шаблоне активности.
07
Стек

Технологии проекта

Мобильное приложение

Flutter Kotlin (нативный модуль Android)

Интеграция приложений

Android Intents Broadcast Receiver

Бэкенд

.NET

База данных

PostgreSQL

Аналитика

Передача данных в BI-отчётность JTI
Обсудим ваш проект

Поможем выбрать оптимальное решение для вашего бизнеса

Разберём задачу, предложим архитектуру решения и оценим сроки реализации — на первой консультации, бесплатно.

  • Покажем релевантный опыт на похожих проектах
  • Сформируем решение с учётом ваших задач и IT-ландшафта
  • Предложим следующие шаги без обязательств

Оставьте заявку на консультацию

Заполните обязательные поля — остальное обсудим в разговоре. Перезвоним или напишем в течение одного рабочего дня

Бесплатно Ответ за 1 рабочий день Без обязательств

Спасибо! Данные отправлены.

Для подписки на рассылку подтвердите почту по ссылке в письме. Если письма нет, проверьте папки «Спам» и «Промоакции».