Инженер по производительности GPU

Яндекс нанимает старшего инженера по производительности GPU для оптимизации использования GPU, разработки инструментов диагностики и внедрения современных решений для ML-инфраструктуры. Удаленная или гибридная работа.

Обязанности: - Повышение эффективности использования GPU: формирование гипотез и исследование способов повышения эффективности, внедрение и развертывание наиболее выгодных решений. - Предоставление рекомендаций и лучших практик по улучшению производительности для максимального использования GPU-инфраструктуры. - Оптимизация и профилирование: поиск узких мест в производительности и их устранение с помощью профилировщиков, оптимизация доступа к памяти, ядер, задержек и пропускной способности. - Разработка инструментов диагностики: создание и улучшение инструментов для быстрого выявления и решения проблем инфраструктуры, влияющих на эффективность использования GPU, стабильность и скорость GPU-вычислений (как для обучения, так и для инференса). - Исследование и внедрение современных решений: изучение новейших подходов к организации инфраструктуры для обучения и инференса, оценка их эффективности и внедрение в реальные проекты. - Анализ архитектуры, тестирование и интеграция: тесное взаимодействие с разработчиками, ML-инженерами и системными архитекторами. Участие в оценке аппаратных решений и предложение улучшений для будущих поколений GPU, разработка планов тестирования, создание бенчмарков и анализ регрессий производительности.

Требования: - Знание Python и опыт системного программирования, разработки библиотек или фреймворков. - Опыт работы с PyTorch и распределенным обучением через torch.distributed. - Применение подходов параллелизации, включая параллелизм данных, тензорный параллелизм, конвейерный параллелизм, экспертный параллелизм для распределенного инференса или обучения. - Интерес к LLM и MLOps: понимание задач и проблем, связанных с эксплуатацией больших моделей в продакшене. - Опыт работы с GPU NVIDIA и CUDA: понимание архитектуры GPU, разработка или оптимизация алгоритмов для CUDA, использование Nsight, nvprof или аналогичных инструментов. - Умение оптимизировать производительность GPU-приложений и повышать эффективность использования GPU. - Умение анализировать профили и метрики производительности. - Умение читать и оптимизировать сложный код. - Эффективная работа в команде и готовность делиться знаниями. Желательно: - Владение C/C++ или аналогичными низкоуровневыми языками. - Опыт работы с библиотеками RL-обучения для LLM: veRL, slime, NeMo-RL, SkyRL и другими. - Опыт работы с библиотеками инференса: vLLM, SGLang и TRTLLM. - Опыт оптимизации для реальных производственных нагрузок, работы с низколатентными или системами реального времени.

Формат работы: удаленно или гибридно.