Детали вакансии

Ищем ML-аналитика в команду специальных проектов Alice для улучшения LLM-агентов, анализа поведения моделей и построения процессов оценки. Фокус на новых проектах по оценке качества моделей и подготовке данных. Откликнуться можно на нашем сайте.

Мы ищем ML-аналитика, который поможет развивать LLM-агентов Alice: улучшать качество ответов, анализировать поведение моделей, строить процессы оценки и обучения. Мы запускаем два новых проекта, для которых нужно сформировать процессы оценки качества моделей и подготовки данных. Детали будут раскрыты на финальном этапе! Какие задачи вас ждут: • Улучшение качества LLM-агентов Исследовать ответы моделей, выявлять типичные ошибки и зоны роста, улучшать поведение агентов через prompt engineering и context engineering. • Оценка и сравнение моделей Участвовать в приёмке новых версий моделей, анализировать результаты экспериментов, сравнивать модели по метрикам качества. • Работа с данными и разметка Формулировать задачи на разметку, готовить бакеты данных, контролировать качество разметки, готовить обучающие и учебные датасеты. • Разработка инструментов оценки качества Применять статистические методы для проверки гипотез и работать с системами автоматической оценки ответов (например, LLM-as-a-Judge).

Мы ожидаем, что вы: • Отлично владеете Python • Имеете опыт работы с текстовыми данными или NLP-задачами • Умеете анализировать метрики качества моделей • Готовили и структурировали датасеты • Внимательны к деталям, способны разбираться в сложных системах

Почему у нас хорошо: Яндекс — это сообщество. Здесь есть спортклубы, книжный клуб и киберспортивное сообщество. Это ещё не все бонусы — полный список здесь: https://yandex.ru/jobs/pages/benefits?utm_campaign=ya_nanimaet