Детали вакансии

Инженер платформы данных (NRT/Spark) в Финтех Яндекса. Развитие платформы для обработки NRT-данных, повышение отказоустойчивости и производительности потоковых процессов. Опыт коммерческой разработки от 4 лет.

Финтех Яндекса — это одно из ключевых и наиболее динамично развивающихся направлений компании. Это экосистема финансовых сервисов, встроенная в повседневную жизнь миллионов пользователей и бизнесов. Ключевые продукты Финтеха: Яндекс Пэй, Сплит, Сейвы, Карта Плюса, кредитные продукты, Яндекс ID, Яндекс Про. В команду платформенных данных ищем специалиста по Apache Spark с глубоким пониманием внутренней архитектуры фреймворка. Основные задачи — развитие платформы для обработки NRT-данных (near real time), повышение отказоустойчивости и производительности потоковых процессов. Какие задачи вас ждут: • Проектирование и развитие облачной дата-платформы Оптимизировать инфраструктуру и проектировать новые компоненты платформы с использованием технологий Yandex Cloud. • Построение единой observability-платформы для таблиц DWH Создавать единую точку входа для мониторинга статусов сборки, качества данных и анализа зависимостей, включая построение datalineage и процессы логирования. • Ускорение текущих процессов поставки данных Оптимизировать существующие и выстраивать новые надёжные процессы поставки данных, включая процессы взятия снепшотов, загрузки инкрементов напрямую, из аудит-таблиц и CDC, а также внедрять Spark Streaming или аналогичные решения для обеспечения обновления данных с минимальной задержкой. • Построение тестовых окружений Создавать изолированные среды разработки, тестирования и предпрод с автоматизированными процессами проверки. • Развитие фреймворков обработки данных Развивать внутренние фреймворки для загрузки, трансформации и контроля качества данных.

Мы ждём, что вы: • Занимались коммерческой разработкой от четырёх лет • Понимаете устройство БД • Владеете СУБД разного типа: PostgreSQL, Oracle, MongoDB, Greenplum • Работали с CDC • Уверенно работаете с S3-совместимыми хранилищами

Мы заботимся, чтобы вы были сыты, и компенсируем обеды. А на кофепойнтах всегда можно перекусить свежими фруктами. Это не все бонусы — полный список тут.