Детали вакансии
Аналитик-разработчик систем оценки качества поиска
Роль аналитика-разработчика, ориентированная на обучение моделей ИИ путем сбора наборов данных, проведения тестов и измерения качества данных. Обязанности включают оценку качества аннотаций, анализ качества исполнителей и разработку процессов и инструментов. Требуются знания Python, SQL и статистики.
Для обучения моделей ИИ необходимо собирать обучающие наборы данных, проводить тесты и измерять качество данных. Наша команда помогает распределять исполнителей по проектам, оценивает их работу и качество аннотаций. Направление новое — поэтому вы сможете существенно повлиять на наши процессы и инструменты. Какие задачи вас ждут: • Оценка качества аннотаций Измерять качество финальных аннотаций и работы тренеров ИИ, строить метрики, бенчмарки и системы оценки, которые влияют на обучение моделей и релевантность поиска. • Аналитика качества исполнителей Строить системы оценки и рейтингования исполнителей, анализировать их сильные стороны, зоны риска и динамику качества. Разрабатывать более точные подходы к распределению задач для улучшения качества данных и эффективности аннотирования. • Разработка процессов и инструментов Помогать развивать систему аннотирования и воронку обучения исполнителей. Находить возможности для автоматизации, делать процессы масштабируемыми и создавать аналитические инструменты для лучшего управления качеством данных.
Мы ждем, что вы: • Уверенно работаете с Python и SQL • Знаете математическую статистику и теорию вероятностей • Умеете структурировать требования и ожидания заказчика • Готовы брать на себя новые задачи, для которых нет готового решения
С нами легко расти. Если вам нужно подтянуть язык для рабочих задач — организуем обучение и оплатим 50% стоимости. Это не все бонусы — полный список здесь: https://yandex.ru/jobs/pages/benefits?utm_campaign=ya_nanimaet
Не пропусти ни одну вакансию
Подпишись на наш Telegram-канал