Детали вакансии

Senior Data Engineer в европейский банк. Работа с Data Lakehouse на AWS, ETL на Python и Spark. Требуется опыт в Data Engineering, SQL, AWS (EMR, Glue, Athena, S3), Python, Spark и свободный английский.

Проектирование и развитие современной платформы данных для крупного европейского банка. Вы будете работать над созданием масштабируемых Data Lakehouse решений в облаке AWS, обеспечивая эффективную обработку огромных массивов информации и выстраивая надежные пайплайны. Технологический стек: Processing: Apache Spark (крупномасштабная обработка данных). Cloud (AWS): EMR, Glue, Athena, S3-based data lakes. Languages: Python (ETL, автоматизация), экспертный SQL. Architecture: Data Lakehouse, Cloud Object Storage, Open Table Formats. Modeling: Аналитическое и дименсиональное моделирование данных. Чем предстоит заниматься: — Проектирование, внедрение и поддержка отказоустойчивых пайплайнов данных. — Разработка ETL-процессов на Python и Spark для крупномасштабной обработки. — Работа с современными концепциями Data Platform (распределенные вычисления, Data Lakehouse). — Обеспечение надежности и масштабируемости архитектуры данных в enterprise-среде. — Активное взаимодействие с международной командой на английском языке.

Требования (Must-have): — Глубокий практический опыт в Data Engineering в крупных корпоративных средах. — Экспертный уровень владения SQL и понимание принципов моделирования данных. — Сильный опыт работы с сервисами данных AWS (EMR, Glue, Athena, S3). — Практические навыки разработки на Python и Apache Spark. — Системное мышление и умение решать сложные задачи на стыке инфраструктуры и данных. — Свободный английский (письменный и устный) для эффективной коммуникации.