Инженер данных

Middle-инженер данных в Action tech. Возможна удаленная работа, полная занятость. Создание и масштабирование инфраструктуры данных на Hadoop и GreenPlum.

Мы подготовили инфраструктуру на основе Hadoop и GreenPlum для загрузки, обработки и построения витрин данных. Мы описали и загрузили данные из нескольких продуктов холдинга и начинаем описывать и загружать следующие. Мы планируем развивать и масштабировать инфраструктуру, запустить потоковую передачу данных, увеличить количество подключаемых источников, развивать ETL и Reverse ETL, работать с качеством данных, а также развивать каталог данных и происхождение данных. - Разрабатывать и улучшать ETL-процессы в Airflow - Подключать новые источники данных - Создавать и улучшать витрины данных - Оптимизировать SQL-запросы в GreenPlum и PostgreSQL - Работать с большими объемами данных - Разрабатывать процессы контроля качества данных

Самостоятельный, убедительный, амбициозный, с лидерскими качествами (или способностью сделать управление ненужным), стремящийся к построению качественных процессов и, как следствие, к высококачественному сбору, хранению и доставке данных. - Не менее 1 года опыта работы с данными - Отличное знание SQL: JOIN, оконные функции, процедуры - Умение профилировать и оптимизировать запросы, понимать планы выполнения - Понимание принципов реляционных баз данных и архитектуры DWH: ODS, DDS, DM - Практический опыт работы с Airflow и ETL-процессами - Python на базовом уровне - Знание Linux и умение работать с командной строкой - Опыт работы с Git - Понимание принципов Docker - Опыт работы с большими данными (>100 ГБ) - Опыт работы с DataHub

Полная занятость, возможна удаленная работа.