Инженер данных (Hadoop, Scala)

Инженер данных (Hadoop, Scala) в Медиалогии. Полная занятость, удаленно или гибридно. Опыт 3-6 лет. Разработка и оптимизация ETL/ELT-конвейеров для больших данных.

Разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных. Настройка и администрирование инфраструктуры Hadoop/Spark (HDFS, YARN, Hive, HBase). Оптимизация распределенных вычислений и запросов. Работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ). Участие в проектировании и масштабировании архитектуры данных. Автоматизация процессов с использованием DevOps-практик (Docker, CI/CD).

Высшее (или неполное высшее) образование. Опыт работы с Java/Scala и фреймворками для больших данных (Apache Spark, Hadoop). Глубокие знания экосистемы Hadoop (YARN, HDFS, Hive, HBase, Parquet). Опыт оптимизации производительности распределенных систем. Работа с потоковой обработкой (Kafka, Spark Streaming). Навыки SQL/NoSQL (PostgreSQL, MS SQL, MongoDB). Будет плюсом: опыт с PySpark, Flink, Airflow; знание Elasticsearch, ClickHouse, Vertica; навыки настройки кластеров и инфраструктуры.

Полная занятость. График: 5/2. Формат работы: удаленно или гибридно.