Старший инженер данных

Старший инженер данных в RedLab, удаленно, полная занятость / проектная работа, зарплата 350-380 тыс. руб. до вычета налогов, контракт через GPH. Требуется опыт от 5 лет.

Задачи: • Проектирование, разработка и поддержка масштабируемых решений для интеграции, обработки и хранения данных в корпоративной платформе данных. • Разработка и оптимизация пакетных и потоковых конвейеров для загрузки, преобразования и публикации данных. • Разработка ETL/ELT-процессов с использованием современных инструментов для работы с данными. • Моделирование данных для аналитических и операционных сценариев. • Оптимизация производительности обработки данных и SQL-запросов. • Обеспечение качества данных: проверка, мониторинг и контроль полноты. • Участие в проектировании архитектуры платформы данных и выборе технологий. • Внедрение и развитие практик DataOps и CI/CD. • Подготовка технической документации и архитектурных артефактов. • Ревью кода, техническое наставничество и развитие команды.

• Опыт работы инженером данных от 5 лет. • Знание методологии Data Vault 2.0. • Уверенное владение Python/Scala/Java для разработки ETL/ELT и сервисов данных. • Отличное знание SQL, оптимизация сложных запросов и опыт работы с большими данными. • Опыт проектирования и разработки промышленных хранилищ данных, озер данных или Lakehouse. • Практический опыт работы с Apache Spark. • Опыт работы с Apache Airflow, Apache Kafka. • Опыт работы с системами потоковой обработки. • Опыт работы с распределенными файловыми системами и форматами: HDFS, Parquet, Avro. • Опыт работы с экосистемой Hadoop/Apache Iceberg или современными платформами хранения и обработки данных. • Опыт работы с реляционными СУБД (PostgreSQL, Oracle, ClickHouse, Greenplum). • Уверенное понимание Git и CI/CD. • Опыт работы с Jira, Confluence или аналогичными инструментами. • Понимание принципов отказоустойчивых и масштабируемых решений. • Опыт работы с dbt для слоев трансформации. • Практика внедрения контроля качества данных (Great Expectations, Soda и т.д.). • Опыт работы с инструментами каталога данных и управления данными.

Зарплата: 350 000 - 380 000 руб. (до вычета налогов), контракт через GPH. Формат работы: удаленно. Занятость: полная / проектная.