Детали вакансии

Инженер данных в Едадил (сервис Яндекса). Создание и оптимизация пайплайнов данных, обеспечение качества данных, разработка аналитического слоя и улучшение внутренних инструментов для работы с данными. Требуется знание Python и SQL.

Мы развиваем Едадил — сервис Яндекса, который помогает ориентироваться в мире умного шопинга, развлечений и экономить на повседневных тратах. Задача команды DWH — обеспечить стабильность процессов и надежность данных для развития сервиса. Какие задачи ждут вас: • Создание и оптимизация пайплайнов обработки данных Вы будете разрабатывать взаимосвязанные ETL-процессы и участвовать в работе на всех этапах обработки данных: от загрузки из источников до подготовки датамартов и финальных выгрузок для внутренних сервисов. • Обеспечение надежности и качества процессов обработки данных Вам потребуется настроить мониторинг, проверки качества и оповещения, контролировать задержки и полноту доставки данных, оперативно анализировать инциденты и устранять их причины. • Разработка аналитического слоя данных: датамарты, дашборды, метрики Вам нужно будет создавать и развивать датамарты и метрики для продуктовых задач. В случае проблем с событиями и логированием вы будете взаимодействовать с командами разработки. • Разработка внутренних инструментов для работы с данными Вы будете улучшать существующие библиотеки для работы с данными и оркестрации регулярных запусков процессов обработки данных, а также создавать новые утилиты, которые упростят и ускорят работу нашей команды.

Ждем, что вы: • Отлично знаете Python и умеете писать чистый и эффективный код • Отлично знаете SQL • Знакомы с парадигмой MapReduce Будет плюсом, если вы: • Создавали сложные высоконагруженные ETL и ELT-процессы • Работали с инструментами оркестрации • Участвовали в проектировании хранилищ данных

Наши бонусы: Добровольное медицинское страхование (ДМС) в Яндексе действует с первого месяца — например, можно пройти плановый осмотр у стоматолога и профессиональную чистку. Это не все бонусы — полный список здесь: https://yandex.ru/jobs/pages/benefits?utm_campaign=ya_nanimaet