Детали вакансии

Инженер данных в BI Group, ведущем застройщике Центральной Азии. Зарплата от 200 000 рублей. Офис в Астане. Требуется более 3 лет опыта в построении пайплайнов данных, ClickHouse, Kafka, Airflow, DBT, SQL, Python и обеспечении качества данных.

BI Group — крупнейшая девелоперская компания Центральной Азии.

– Опыт работы инженером данных или на смежной должности с фокусом на построении пайплайнов данных от 3 лет; – ClickHouse – глубокое понимание движков семейства MergeTree (ReplacingMergeTree, AggregatingMergeTree, SummingMergeTree), партиционирования, проекций, материализованных представлений; – Опыт настройки шардирования и репликации; – Навыки оптимизации тяжелых запросов; – Debezium + Kafka – опыт настройки CDC-коннекторов для реляционных и NoSQL источников, понимание snapshot/streaming режимов, работы с эволюцией схемы, работы с Kafka Connect; – Apache Airflow – уверенное написание DAG, опыт работы с TaskFlow API, разработка кастомных операторов и хуков, понимание архитектуры (scheduler, executor, workers), настройка мониторинга и алертинга; – DBT – построение моделей и тестов (generic и singular), макросы, инкрементальные модели, работа с sources и snapshots, поддержка документации; – Уверенный SQL: оконные функции, CTE, чтение и оптимизация планов выполнения; – Python на уровне production кода; – Опыт работы с data quality: написание тестов, data contracts, практики observability.