Инженер данных в команде CDP

Удаленный инженер данных полного дня для внутренней платформы клиентских данных в 2GIS. Создание пакетных и потоковых конвейеров на Kafka, обработка миллиардов событий.

2GIS разрабатывает внутреннюю платформу клиентских данных. Она объединяет данные из разных источников, строит профили пользователей и помогает персонализировать продукт. Улучшайте пакетные конвейеры ежедневных функций, создавайте потоковый конвейер на Kafka и проектируйте обработку миллиардов событий.

Опыт работы с высоконагруженными системами и проектированием архитектуры данных или платформенного кода. Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки. Понимание и умение работать со Spark. Хорошее владение языком программирования, например Python или Scala. Плюс: Airflow, SQL, качество данных и контракты данных, происхождение данных и каталог данных, знание S3 и опыт в персонализации, сегментации или аналитике в реальном времени.

Удаленно, полный день. Зарплата и грейд не указаны. Стек платформы еще формируется, поэтому вы можете влиять на архитектуру.