Старший инженер данных

Старший инженер данных в Gemini, глобальной платформе для криптовалют и Web3. Удаленная работа в США или на месте в Нью-Йорке/Майами. Зарплата $126,000-$180,000 базовых.

Проектирование, создание и поддержка инфраструктуры данных и конвейеров, охватывающих как пакетные, так и потоковые (real-time/streaming) нагрузки, с участием в архитектурных решениях. Создание и поддержка масштабируемых, эффективных и надежных ETL/ELT конвейеров с использованием Python, SQL, Spark, Flink, Beam или эквивалентов. Работа над решениями для обработки данных в реальном времени или near-real-time (например, CDC, стриминг, микро-батчи) для своевременного получения данных. Сотрудничество с дата-сайентистами, ML-инженерами, аналитиками и продуктовыми командами для понимания требований к данным, определения SLA и предоставления согласованных продуктов данных. Установка фреймворков для качества данных, валидации, наблюдаемости и мониторинга (аудит данных, оповещения, обнаружение аномалий, происхождение данных). Расследование и устранение сложных производственных проблем: анализ первопричин, узкие места производительности, целостность данных, отказоустойчивость. Документирование потоков данных, словарей данных, архитектурных паттернов и эксплуатационных руководств.

5+ лет опыта в области инженерии данных (или аналогичных должностей). Сильный опыт в проектировании, внедрении и оптимизации ETL/ELT конвейеров. Глубокие знания Python и SQL для написания качественного, поддерживаемого и тестируемого кода. Опыт работы с крупномасштабными хранилищами данных (например, Databricks, BigQuery, Snowflake). Прочные знания основ программной инженерии, структур данных и системного мышления. Практический опыт в моделировании данных (многомерное моделирование, нормализация, проектирование схем). Опыт создания систем с данными реального времени или потоковой обработкой (например, Kafka, Kinesis, Flink, Spark Streaming) и знакомство с CDC-фреймворками. Опыт работы с оркестрацией/фреймворками рабочих процессов (например, Airflow). Знакомство с практиками управления данными, происхождением, метаданными, каталогизацией и качеством данных.

Диапазон зарплаты $126,000 – $180,000 (базовый оклад, Нью-Йорк). Возможна удаленная работа в США; также работа на месте в Нью-Йорке, штат Нью-Йорк или Майами, Флорида.