Старший инженер данных (миграция ETL)

Старший инженер данных для миграции ETL в телекоме на стек Apache. Удаленно, полная занятость, 250 000–270 000 руб. на руки. Договор ИП.

Проект: Телеком. Миграция информационной системы на стек Apache. Задачи: • Миграция ETL-системы телеком-оператора с Oracle/Informatica на стек Apache (S3, Airflow, NiFi, Kafka, Greenplum) • Перенос бизнес-логики с Informatica на высокопроизводительный SQL-код • Написание и оптимизация SQL для витрин данных и ETL-процессов • Разработка DAG в Airflow • Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы) • Разработка Spark-задач (PySpark) для больших объемов • Интеграция с Kafka для потоковой передачи • Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик • Расследование инцидентов, связанных с качеством данных и ошибками загрузки • Ревью кода

• Опыт миграции ETL-систем (желательно с Oracle/Informatica на стек Apache) • Глубокое знание SQL: оконные функции, сложные соединения, иерархические запросы • Оптимизация SQL для высоких нагрузок (партиционирование, индексы, планы выполнения) • Oracle (PL/SQL) и PostgreSQL • Greenplum и/или ClickHouse • Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow • Hadoop (HDFS) и Hive • Мониторинг ETL: Grafana/Prometheus или Victoria Metrics • Опыт работы с биллинговыми системами (предпочтительно телеком-домен) Желательно: • Стриминг: Kafka Streams / Spark Streaming • Informatica PowerCenter (понимание мигрируемой системы) • Двоичные форматы хранения в Hadoop • Различия: Hive vs Impala, Greenplum vs PostgreSQL, ClickHouse vs PostgreSQL • Patroni для кластеризации PostgreSQL/Greenplum • Хранилище S3 • CryptoPro или защищенные каналы передачи данных

Зарплата: 250 000 – 270 000 руб. на руки Занятость: Полная Формат работы: Удаленно Локация: Россия, часовой пояс МСК ± 3 часа Контракт: Только ИП Компания: Top Selection