Старший разработчик в команде оптимизации логического вывода LLM в Avito

Команда оптимизации логического вывода LLM в Avito ищет старшего разработчика для оптимизации логического вывода LLM на GPU, повышения эффективности оборудования и помощи продуктовым командам в развертывании моделей.

Обязанности: - Проведение нагрузочного тестирования моделей по запросам продуктовых команд и оптимизация для конкретных сценариев использования. - Разработка методологии оценки производительности LLM на нашем оборудовании: бенчмарки, инструменты и мониторинг. - Регулярное измерение производительности, отслеживание новых релизов моделей и ведение таблицы результатов. - Тестирование новых GPU и контроль их настройки с командами инфраструктуры и платформы логического вывода. - Масштабирование оптимизаций на весь парк моделей: спекулятивное декодирование, multi-LoRA, распределенный логический вывод, переход на новые бэкенды логического вывода. - Внесение изменений в production по циклу: профилирование, оптимизация, тестирование, развертывание с подтвержденными метриками. - Запуск LLM-моделей с использованием платформы логического вывода.

Требования: - Опыт оптимизации LLM-моделей на основе профилей нагрузки. - Работа с фреймворками логического вывода LLM: vLLM, SGLang, TensorRT-LLM и другими; запуск и настройка с корректировкой параметров. - Понимание внутренностей логического вывода LLM и методов оптимизации: prefill, decode, KV cache, батчинг, спекулятивное декодирование, квантизация. - Знание принципов работы GPU: память, пропускная способность, утилизация, NVLink, многопроцессорные конфигурации. - Профилирование GPU и использование инструментов мониторинга. - Проведение нагрузочного тестирования и бенчмаркинга LLM-моделей: задержка, TTFT, TPOT, пропускная способность и т.д., с корректным сравнением результатов и выводами. - Опыт работы с Docker, Kubernetes, Prometheus, Grafana: метрики и дашборды. - Готовность вносить изменения в production, сопровождать их и объяснять результаты продуктовым командам. Желательно: - Написание или оптимизация CUDA-ядер; понимание SIMT и архитектуры NVIDIA GPU. - Реализация спекулятивного декодирования, multi-LoRA обслуживания или распределенного логического вывода. - Работа с маршрутизацией и балансировкой нагрузки с учетом KV cache: llm-d, NVIDIA Dynamo, Mooncake или аналоги. - Знание C++ или Go. - Следите за open-source статьями и проектами по ускорению логического вывода и быстро тестируйте идеи на практике.

Условия: - Офис в Москве. - Расширенное медицинское обслуживание: ДМС, страхование жизни, страхование от рака. - Служба психологической поддержки, а также консультации по финансовым, юридическим вопросам и здоровому образу жизни для вас и вашей семьи. - Корпоративный спорт: групповые тренировки, приложение для благополучия. - Специальные предложения от партнеров и скидки на услуги Avito: бронирование жилья, услуги продвижения, страхование ипотеки. - Компенсация питания. - Инженерная свобода для реализации масштабных задач. - Продуктовый подход к инфраструктуре на основе метрик. - Сильное инженерное сообщество для поддержки и обмена опытом. - Эффективные инструменты роста: матрица компетенций, внутреннее обучение, наставничество и обмен опытом.