Дорожное зрение: как мы научили алгоритм видеть автомобили

Angels IT — российский разработчик программного обеспечения, комплексов фотовидеофиксации и систем видеоаналитики на базе нейронных сетей. Одно из направлений работы компании — создание решений для распознавания транспорта и анализа дорожной обстановки.

Для обучения нейронной сети заказчику требовался размеченный датасет изображений с дорожных камер. На каждом кадре необходимо было найти все распознаваемые транспортные средства, обозначить их прямоугольными рамками и указать характеристики. Помимо самого автомобиля, при достаточной видимости отдельно размечались его лобовое стекло, передняя и задняя части.

Основная сложность проекта заключалась не только в объёме — 19 200 изображений, — но и в большом количестве атрибутов и пограничных случаев. На результат влияли ракурс автомобиля, освещение, частичное перекрытие объектов и ограниченная детализация отдельных кадров.

Заказчику было важно получить единообразную разметку в сжатые сроки и в формате, совместимом с существующим набором аннотаций.

Для аннотирования использовали осевые прямоугольники без поворота — bounding boxes.
Основной класс vehicle создавался для каждого распознаваемого транспортного средства. Асессоры указывали:

• тип транспортного средства;
• направление движения;
• цвет.

Если соответствующая область была различима на изображении, дополнительно создавались рамки следующих классов:

• front glass — лобовое стекло;
• front — передняя часть автомобиля;
• rear — задняя часть автомобиля.

Для дополнительных зон заполнялись предусмотренные техническим заданием атрибуты, в том числе связанные с видимостью ремней безопасности и использованием телефона.

Перед запуском основного объёма команда Annotate выполнила тестовую разметку. Заказчик проверил результат и уточнил правила для неоднозначных ситуаций.
В частности, были согласованы критерии:

• когда выбирать направление «Сбоку»;
• когда указывать «не видно» вместо предполагаемого цвета;
• как размечать ремень безопасности при недостаточной видимости;
• в каких случаях можно определить использование телефона;
• как поступать с кадрами, которые невозможно однозначно классифицировать.

Уточнения включили в рабочую инструкцию для асессоров. Это помогло сформировать единый подход к разметке и сократить количество субъективных трактовок.
К проекту подключили от 5 до 10 специалистов — численность команды регулировалась с учётом текущей загрузки и требуемого темпа. Спорные кадры выносились в отдельный список для уточнения, а готовая разметка проходила внутренний контроль качества.

Разметка выполнялась в CVAT for Images 1.1 — инструменте для детекции объектов и работы с атрибутами.

Результат передали заказчику в формате CVAT XML, совместимом с исходным файлом annotations.xml. Благодаря этому размеченные данные можно было включить в существующий процесс подготовки датасета без дополнительного преобразования структуры аннотаций.

За один месяц команда Annotate:

• разметила 19 200 изображений с дорожных камер;
• выделила транспортные средства и различимые зоны автомобилей;
• присвоила объектам необходимые классы и атрибуты;
• стандартизировала обработку неоднозначных случаев;
• провела внутренний контроль качества;
• подготовила итоговые аннотации в совместимом формате CVAT XML.

Заказчик получил готовый датасет для дальнейшего обучения нейронной сети в установленный срок. Проект завершён, но отработанный процесс и согласованные правила позволяют быстро запустить новые задачи для Angels IT.

В рамках текущей задачи использовалась разметка прямоугольными рамками. При дальнейшем развитии модели датасет можно дополнить полигональной или семантической сегментацией.

Такая разметка позволит точнее передавать форму объектов и отделять транспортные средства от фона. Для нового этапа потребуется отдельно определить классы, правила обработки границ и критерии контроля качества.

Команда Annotate поможет подготовить датасет для распознавания транспорта, анализа дорожной обстановки и других задач компьютерного зрения. Начнём с тестовой разметки, уточним сложные случаи и предложим подходящий состав команды.

Или посмотрите другие наши кейсы — возможно, мы уже решали похожую задачу.

Оставить заявку →