Детали вакансии

Python разработчик с опытом более 5 лет в разработке инструментов для данных, с фокусом на Apache Airflow и dbt. Компания: Arenadata. Удаленная/офисная позиция.

Разработка продуктовой функциональности на базе Apache Airflow: разработка кастомных операторов, хуков и провайдеров; Разработка dbt модулей: создание адаптеров под новые источники данных, разработка кастомных плагинов; Проектирование архитектуры модулей и коннекторов; Взаимодействие с архитекторами и продуктовой командой для определения стратегии развития data platform; Разработка и поддержка тестовой инфраструктуры: unit тесты, интеграционные тесты; Подготовка архитектурных документов и технических заметок по принятым решениям; Защита и обоснование архитектурных и технических решений; Участие в code review; Ревью пользовательской и технической документации по продуктам.

Опыт работы от 5 лет в Python разработке, значительная часть из которых в продуктовой разработке data tools; Практический опыт работы с dbt Core: понимание архитектуры, опыт разработки или модификации адаптеров; Знание Big Data стека: Apache Hadoop ecosystem (HDFS, YARN, MapReduce), Apache Spark / PySpark, Apache Ozone, Trino, Apache Hive; Понимание принципов распределенных хранилищ и вычислений; Опыт работы с различными СУБД от 3 лет; Знание внутренней структуры Apache Airflow: архитектура, scheduler, executors (Celery, Kubernetes), plugin system, providers API; Понимание архитектуры dbt Core: execution lifecycle, adapter system, data source interaction protocol, Jinja compilation, manifest и artifacts; Уверенное владение Python 3; Опыт разработки коннекторов/драйверов для СУБД: знание DB-API 2.0, SQLAlchemy, ODBC/JDBC; Знание принципов работы и функционирования ОС Linux; Опыт работы с Git; Понимание принципов Continuous Integration и Continuous Delivery (CI/CD); Опыт контейнеризации: Docker, Docker Compose; понимание Kubernetes; Декомпозиция задач разработки и умение оценивать трудозатраты.