Детали вакансии

Аналитика
Мидл
Полная занятость
May 7

Аналитик-разработчик для предобучения Alice AI LLM

Роль аналитика-разработчика для предобучения модели Alice AI LLM в Яндексе. Фокус на улучшении модели, решении прикладных задач и мониторинге качества. Требуется опыт работы с SQL, Python и метриками NLP.

Наша команда занимается аналитикой предобученной модели Alice AI LLM, которая лежит в основе Алисы, Поиска и множества других продуктов Яндекса. Наша цель — улучшать модель, решая разнообразные прикладные задачи, постоянно всесторонне следя за качеством и не упуская ничего важного. Для этого нам нужна система надежных и универсальных метрик — за эти метрики (бенчмарки) отвечает наша команда. Какие задачи ждут тебя: • Создание метрик качества предобученной модели Наша главная задача — комплексно оценивать качество предобученной модели. Часто мы сталкиваемся с новыми и интересными вызовами: как оценить агентские возможности модели во время предобучения; как измерить, насколько хорошо модель справится с задачами из разных сервисов Яндекса; насколько хорошо наша модель с высоким рейтингом на Codeforces напишет код для пользователей; как правильно принимать эксперименты на моделях разного размера. • Интерпретация результатов экспериментов Команда разработки проводит множество экспериментов и делает выводы на основе наших метрик. Иногда результаты бывают неожиданными или противоречивыми, в таких случаях задача аналитиков — помочь разобраться, что произошло. • Анализ точек роста Есть сложные задачи, с которыми наша модель пока справляется не на должном уровне, но мы стараемся выбирать наиболее перспективные, анализировать проблемы и вместе с командой разработки придумывать план решения.

Мы ждем, что ты: • Имеешь опыт работы с метриками в NLP • Владеешь SQL и Python • Умеешь анализировать данные и строил эффективные пайплайны обработки данных Будет плюсом, если ты: • Работал с LLM • Строил агентские системы • Создавал краудсорсинг с системой контроля качества

Добровольное медицинское страхование от Яндекса действует с первого месяца работы. Можно получить плановую или экстренную помощь за рубежом — так вы можете не переживать во время путешествий. Это не все бонусы — полный список здесь: https://yandex.ru/jobs/pages/benefits?utm_campaign=ya_nanimaet

AI
Python
SQL
Analytics
NLP
LLM

Не пропусти ни одну вакансию

Подпишись на наш Telegram-канал

Подписаться

Похожие вакансии

Бизнес-аналитик (ИИ)

Вакансия Бизнес-аналитика (ИИ) с опытом от 2-3 лет. Анализ бизнес-процессов и разработка ТЗ для AL-автоматизации. Удаленный формат работы с выездами по РФ. Проекты с инвестиционным фондом, сетью медицинских клиник.

N
NDA

Бизнес-аналитик

Бизнес-аналитик в 4mation Partners для проектов в сфере логистики и биллинга (владение немецким языком).

4
4mation Partners

Миддл Аналитик-разработчик

Миддл Аналитик-разработчик в Wildberries. Направление: команда в платформе A/B-тестирования. Москва, Санкт-Петербург. Удалённая работа или офис по желанию. Гражданство РФ обязательно.

W
Wildberries