При покупке дорогостоящего устройства, такого как машина, мы хотим быть уверены, что все документы и его прошлое соответствуют друг другу и нашим ожиданиям. По этой причине в Авито при публикации объявления запрашиваются данные документов на продаваемое авто, что позволяет обогатить описание информацией и провести проверки. Основными данными на этом этапе для нас являются госномер и VIN — длинные последовательности букв и цифр, в которых легко сделать ошибку при вводе, их нужно внимательно заполнять и перепроверять. Мы решили помочь продавцу и сделали сканер СТС, который по фото этого документа считывает нужные нам номера. Это делает пользовательский опыт лучше, подачу быстрее, качество заполнения объявлений выше.

В докладе я расскажу про наш подход к проектированию системы распознавания, в чём его ценность для ml-инженеров и индустриального применения. Затрону тему данных в рассматриваемой задаче: в чём их особенность, как мы делали разметку для моделей и как использовали знания о структуре номеров. Расскажу про ряд моделей компьютерного зрения, которые мы создали, как мы встраивали их в прод и оптимизировали инференс за счёт использования Aqueduct в основе. Напоследок коснусь вопросов, как внедрение такой системы повлияло на бизнес и как позволило нам понимать, что отправляют пользователи, и подсказывать им, если что-то не так.