Детали вакансии

Старший разработчик LLM в команду YandexGPT Reasoning. Фокусируется на улучшении способностей к рассуждению семейства моделей Alice AI LLM, объединяя рассуждения, использование внешних функций и возможности поиска. Задачи включают разработку основного механизма рассуждений YandexGPT, интеграцию сигналов в единую модель и эксперименты с алгоритмами RL.

Наша команда занимается улучшением способностей к рассуждению семейства моделей Alice AI LLM. Мы стремимся создать единую модель, которая объединит сильные стороны рассуждений, использования внешних функций и возможностей поиска наших сервисов. Какие задачи ждут вас: • Разработка основного механизма рассуждений YandexGPT Ближайшая цель — научиться эффективнее масштабировать обучение RLVR и RLHF моделей рассуждений для B2C-задач для широкого круга пользователей. Вы будете проводить эксперименты по улучшению общих свойств модели (полезность, логичность, структурированность) за счёт повышения качества цепочек рассуждений и усиления паттернов (backtracking, verification) на задачах различной тематики. • Интеграция сигналов в единую модель Мы стремимся создать новые стадии выравнивания и системы вознаграждений, которые позволят нам объединить сигналы по математическим и научным задачам с креативными, улучшив качество рассуждений в каждой области по сравнению с независимым обучением. Вы будете проводить исследования с новыми reward-моделями, стадиями и дистилляцией в рамках единой модели. • Эксперименты с RL-алгоритмами Вы будете искать SOTA-подходы, которые принесут пользу реальному продукту: экспериментировать с RL-алгоритмами, тестировать методы стабилизации обучения Dense и MoE-архитектур.

Ждем, что вы: • Отлично разбираетесь в NLP и классическом ML • Владеете Python • Понимаете, как работают современные LLM, решали с их помощью прикладные задачи или имеете соответствующий исследовательский опыт

Мы заботимся о детях сотрудников Яндекса и устраиваем детские дни в офисе. Это не все бонусы — полный список здесь: https://yandex.ru/jobs/pages/benefits?utm_campaign=ya_nanimaet