Контроль выкладки за 3 секунды — даже в магазинах без связи
Проверили, может ли смартфон торгового представителя сам распознавать товары на полке и сверять их с ассортиментом. Собрали работающий MVP на Flutter и YOLO — без облака, серверов и интернета.
- до 3 сек — результат проверки полки прямо во время визита
- 85–90% — точность распознавания SKU
- 100% офлайн — фото не уходят на сервер, интернет не нужен
- 100 часов — от гипотезы до работающего MVP
Клиент и исходная ситуация
GROTEM много лет автоматизирует работу полевых команд производителей и дистрибьюторов FMCG. Распознавание товаров на полке стало стандартным инструментом контроля выкладки, но почти все такие системы работают через облако: фото уходит на сервер, а результат возвращается, когда позволяет связь.
Осенью 2024 года CEO GROTEM Дмитрий Стыврин поставил команде вопрос: можно ли своими силами сделать распознавание, которое работает прямо в телефоне торгового представителя? Так появился внутренний R&D-проект.
Что происходило до начала проекта
- Облачное распознавание работает по схеме «фото → сервер → модель → результат»: нет связи — нет результата.
- Без интернета снимок сохраняется на телефоне и уходит на обработку, только когда появится сеть, — итог проверки сотрудник видит уже после визита.
- Скорость проверки зависит от качества мобильной сети в конкретном магазине.
- Каждый снимок полки передаётся во внешнюю инфраструктуру, а его обработка в облаке стоит денег.
Каких результатов хотел достичь клиент
Проверить, может ли смартфон торгового представителя сам распознавать товары на полке и сверять их с ассортиментом — без интернета, сервера и облака.
Работать полностью офлайн
Распознавать товары в магазинах, где связь слабая или её нет совсем.
Давать результат за секунды
Показывать итог проверки во время визита, а не после синхронизации.
Обойтись без серверов
Уместить всю логику в мобильное приложение — без облачных ресурсов и оплаты обработки снимков.
Подстраиваться под ассортимент
Обучать модель под конкретный набор SKU компании и запускать её на Android и iOS.
Что разработала команда GROTEM
Команда GROTEM собрала мобильное приложение, в котором вся цепочка — от снимка полки до сверки с ассортиментом — выполняется на самом смартфоне. Сначала гипотезу проверили на MVP, затем развили прототип до демо-версии для клиентов.
Распознавание полки прямо на смартфоне
Торговый представитель фотографирует полку — приложение за несколько секунд находит товары, выделяет их рамками и сверяет с контрактным ассортиментом. Сотрудник видит:
- название товара и уверенность модели;
- количество найденных единиц;
- рамки на снимке для визуальной проверки;
- результат сверки с требуемым ассортиментом.
- Офлайн
- Android и iOS
- Подсчёт SKU
Демо-версия для крупных компаний
После подтверждения гипотезы прототип развили до демо-приложения:
- обучили две модели — детектор и классификатор;
- добавили «умную камеру»;
- добавили проверку выкладки по планограмме;
- провели демонстрации для трёх крупных компаний.
- Детекция
- Классификация
- Планограмма
Распознавание полки в приложении — без интернета
Запись экрана смартфона: снимок полки, поиск товаров и результат проверки — всё происходит на устройстве, без передачи фото на сервер.
- Запись экрана
- Работа офлайн
Особенности проекта
Запустить готовую модель на демо-фото несложно. Сложно добиться стабильного результата на реальной полке, когда данных почти нет, а условия съёмки далеки от идеальных.
Удалось собрать около 40 оригинальных фотографий полок — для задач компьютерного зрения это очень мало.
Товары одного бренда отличаются минимально: человек видит разницу сразу, а модель путала соседние SKU.
Блики, тени, отражения и частично закрытые товары заметно снижают качество распознавания.
Чем дальше товар от камеры и чем меньше он на снимке, тем выше вероятность ошибки.
Модель должна быть достаточно лёгкой для мобильного устройства и при этом сохранять точность.
Что было важно реализовать на уровне системы
Ключевые решения касались выбора модели, подготовки данных и того, как уместить распознавание в мобильное приложение без потери скорости.
Главный вывод проекта: качество данных влияет на результат сильнее, чем выбор архитектуры модели. Поэтому разметку несколько раз пересматривали, а модель переобучали.
Что получил бизнес
Гипотеза подтвердилась: смартфон сам распознаёт товары на полке — без облака, сервера и интернета. Работающий MVP один разработчик собрал примерно за 100 часов.
на обработку снимка — сотрудник видит результат, не выходя из магазина
точность распознавания SKU на тестах MVP
серверов и облачных ресурсов для распознавания
размер модели — помещается в обычное мобильное приложение
- Единый стандарт контроля — выкладку оценивает одна модель, а не субъективное мнение сотрудника.
- Качество данных во всех регионах — результат проверки не зависит от покрытия мобильной сети.
- Меньше ручной работы и ошибок — товары находятся и подсчитываются автоматически.
- Больше времени на визиты — не нужно ждать загрузки фото и возвращаться к проверке после синхронизации.
- Задел для развития — доля полки (Share of Shelf), контроль отсутствующих товаров (OOS), рекомендации мерчандайзерам, видеоанализ.
Оцените эффект для своей полевой команды
Подставьте данные вашей компании. Значения по умолчанию условные — точный эффект мы измеряем на пилоте под ваш ассортимент и процессы.
Что говорит команда
«Я задал команде простой вопрос: можем ли мы своими силами сделать распознавание полки, которое работает прямо в телефоне? Через 100 часов у нас был работающий прототип. Для меня это показатель подхода GROTEM: прежде чем предлагать клиенту технологию, мы проверяем её на себе и честно говорим об ограничениях. Мы не внедряем AI ради AI — нам важно, какую бизнес-задачу он решает и какой эффект даёт».
«Мне было интересно убрать сервер из цепочки распознавания. Оказалось, что современный смартфон с этим справляется: модель весом около 45 МБ находит и считает товары за пару секунд без интернета. Самым сложным был не код, а данные: из 40 исходных фотографий пришлось собирать обучающую выборку, вручную размечать каждый товар и несколько раз переобучать модель. Зато теперь мы точно знаем, где границы технологии и как учитывать их в реальном проекте».
Технологии проекта
Мобильное приложение
Компьютерное зрение
Подготовка данных
Поможем выбрать оптимальное решение для вашего бизнеса
Разберём задачу, предложим архитектуру решения и оценим сроки реализации — на первой консультации, бесплатно.
- Покажем релевантный опыт на похожих проектах
- Сформируем решение с учётом ваших задач и IT-ландшафта
- Предложим следующие шаги без обязательств