Аннотирование и валидация видеоданных спортивных мероприятий
Математическое моделирование трансляций спортивных событий набирает популярность на наших глазах. Каждый год появляются новые аналитические модели и сервисы, соревнующиеся друг с другом в точности прогнозирования исходов спортивных матчей. Зачастую на это влияет желание заработать на стремительно растущем онлайн рынке спортивных ставок.
Одним из клиентов Annotate стала компания, развивающая возможности искусственного интеллекта для видеоаналитики в спорте с целью извлечения особо ценной информации из данных для рекламодателей, спонсоров, командного менеджмента и конечного зрителя.
Например, это могут быть задачи по анализу узнаваемости бренда (Brand Recognition) и эффективности рекламных кампаний, аналитики питстопов (Pistop Analysis), распознаванию позы игроков (Pose Analysis) и многое другое. В частности, знаковым проектом компании является разработка и обучение ML модели по прогнозированию технического дриблинга игроков NBA с целью автоматического и быстрого наведения камеры на самый выгодный для телезрителя ракурс съемки.
Партнеры из этой компании обратились к нам с запросом на решение следующих задач.
Во-первых, с целью обучения нейросети автоматическому аннотированию ключевых данных для заказчика в области автогонок Nascar необходимо было разметить шильдики с маркой спортивного автомобиля, фронтальные и боковые номера, рекламную информацию на обвесах автомобиля, любые баннеры. Метод аннотации — ограничивающий прямоугольник (Bounding Box).
Во-вторых, следовало аннотировать все бренды на спортивной форме футболистов, рекламных баннерах по краям футбольного поля и одежде простых людей во время футбольного матча. Подобный датасет позволил обучить ML-модель для сбора статистики по количеству эфирного времени рекламы и занимаемой площади баннеров. Помимо этого, необходимо было разметить футбольные мячи, технический персонал, тренеров и судей. В качестве отдельной подзадачи нужно было осуществить валидацию ключевых точек (Key Points) футбольного поля для регулировки камеры на тот случай, если камера ошиблась. Аннотирование, как в и первой задаче, было реализовано ограничивающими прямоугольниками (Bounding Box).
В дальнейшем по договоренности с заказчиком команда Annotate дополнила линейку решаемых задач аннотированием болидов F1, а также частей парусных лодок, катамаранов и велогонщиков. В частности, в случае с F1 необходимо было разметить точки колеса: диски колес болидов F1 всегда имеют один размер, что позволяет при помощи специального алгоритма, высчитывающего расстояние от любой точки болида до земли, определять процент износа шин. Аннотирование осуществлялось с помощью ограничивающего прямоугольника (Bounding Box) и проставлением точек колеса.
Перед стартом каждого из этих проектов был проведен предварительный тест на 10−20 картинках с полученных от клиента раскадровок, который показал необходимость доработки логики разметки для заданий с большим количеством пересечений игроков, болидов, лодок, катамаранов, велогонщиков. Как итог, потребовалось значительно откалибровать скрипты аннотирования.
С этим заказчиком мы сотрудничаем c 2021 года. За это время на проекте было занято в среднем 10 асессоров, которые аннотировали порядка 7800 объектов в месяц через инструментарий платформы CVAT.
Стоит отметить, что подобные проекты для компании Annotate — привычное дело. Ранее компании доводилось принимать участие в разметке ежесекундного движения игроков спортивного матча для интерактивной коррекции ставок на победу того или иного участника спортивного мероприятия.
Хорошие качественные данные имеют проставленные релевантные аннотации, обладают целостностью, нужным объемом и покрывают все пограничные случаи.
Напротив, передача плохих или некачественно размеченных данных почти всегда гарантирует AI проекту провал. Достичь уровня, при котором качество данных контролируется в рамках отлаженных процессов по их сбору и аннотированию — это не просто цель, это необходимость.
Компания Annotate с радостью поможет вам решить эту задачу.