Детали вакансии

Инженер данных в Облако.ру, специализирующийся на проектировании и разработке конвейеров данных для обработки событий кибербезопасности, нормализации событий безопасности и оптимизации аналитических хранилищ данных. Удаленная позиция.

Обязанности: - Проектирование и разработка конвейеров данных для обработки событий кибербезопасности; - Нормализация и обогащение событий безопасности; - Проектирование и оптимизация аналитических хранилищ данных (ClickHouse / StarRocks / аналоги); - Подготовка витрин данных для быстрых запросов и аналитики; - Эксплуатация сервисов данных в Kubernetes: развертывание, ресурсы, отказоустойчивость, масштабирование; - Обеспечение наблюдаемости и качества данных (метрики, алерты, replay/backfill); - Участие в анализе инцидентов и оптимизации производительности платформы данных.

Требования: - Опыт построения и эксплуатации конвейеров данных (ETL, ELT и/или streaming) в продакшн-среде; - Уверенный SQL, включая оптимизацию запросов и анализ производительности; - Опыт работы с OLAP СУБД (ClickHouse/StarRocks/Druid/Pinot или аналоги); - Понимание принципов обработки потоков данных (идемпотентность, дедупликация, обработка ошибок); - Опыт проектирования и оптимизации витрин данных и схем хранения данных; - Уверенное знание Kubernetes и опыт эксплуатации сервисов в продакшн-среде; - Понимание принципов надежности, масштабируемости и наблюдаемости систем данных.