Детали вакансии

Роль аналитика-разработчика для предобучения модели Alice AI LLM в Яндексе. Фокус на улучшении модели, решении прикладных задач и мониторинге качества. Требуется опыт работы с SQL, Python и метриками NLP.

Наша команда занимается аналитикой предобученной модели Alice AI LLM, которая лежит в основе Алисы, Поиска и множества других продуктов Яндекса. Наша цель — улучшать модель, решая разнообразные прикладные задачи, постоянно всесторонне следя за качеством и не упуская ничего важного. Для этого нам нужна система надежных и универсальных метрик — за эти метрики (бенчмарки) отвечает наша команда. Какие задачи ждут тебя: • Создание метрик качества предобученной модели Наша главная задача — комплексно оценивать качество предобученной модели. Часто мы сталкиваемся с новыми и интересными вызовами: как оценить агентские возможности модели во время предобучения; как измерить, насколько хорошо модель справится с задачами из разных сервисов Яндекса; насколько хорошо наша модель с высоким рейтингом на Codeforces напишет код для пользователей; как правильно принимать эксперименты на моделях разного размера. • Интерпретация результатов экспериментов Команда разработки проводит множество экспериментов и делает выводы на основе наших метрик. Иногда результаты бывают неожиданными или противоречивыми, в таких случаях задача аналитиков — помочь разобраться, что произошло. • Анализ точек роста Есть сложные задачи, с которыми наша модель пока справляется не на должном уровне, но мы стараемся выбирать наиболее перспективные, анализировать проблемы и вместе с командой разработки придумывать план решения.

Мы ждем, что ты: • Имеешь опыт работы с метриками в NLP • Владеешь SQL и Python • Умеешь анализировать данные и строил эффективные пайплайны обработки данных Будет плюсом, если ты: • Работал с LLM • Строил агентские системы • Создавал краудсорсинг с системой контроля качества

Добровольное медицинское страхование от Яндекса действует с первого месяца работы. Можно получить плановую или экстренную помощь за рубежом — так вы можете не переживать во время путешествий. Это не все бонусы — полный список здесь: https://yandex.ru/jobs/pages/benefits?utm_campaign=ya_nanimaet