Детали вакансии

Инженер данных в OZON, специализирующийся на качестве точек выдачи. Обязанности включают создание и поддержку ETL/пайплайнов, разработку сервисной модели для аналитиков и повышение надежности. Технологический стек: Apache Airflow, SQL, Python, Spark, ClickHouse, Kafka, Git, Docker, Hadoop.

Создание и поддержка ETL/пайплайнов: - Разработка, оптимизация и мониторинг для обеспечения доставки данных. Разработка сервисной модели для аналитиков: - Предоставление качественных, документированных и актуальных данных через витрины данных и инструменты автоматизации, сокращая время на рутинные запросы. Повышение надежности и прозрачности: - Участие во внедрении единых стандартов тестирования, мониторинга и оповещения для всех процессов обработки данных.

Знание SQL (CTE, оконные функции, оптимизация запросов). Базовые навыки профилирования и оптимизации SQL-запросов (чтение explain plan, понимание индексов). Понимание принципов построения ETL/ELT пайплайнов и опыт работы с Apache Airflow. Базовые знания Python для обработки данных (Pandas, PySpark). Опыт работы с Git. Понимание концепций распределенных систем и обработки больших данных (Spark, Kafka, архитектура Hadoop).