Старший инженер данных

Trust Wallet нанимает старшего инженера данных на удаленную полную занятость. Роль включает создание и поддержку инфраструктуры данных на Databricks, разработку конвейеров на Python и Spark, а также обеспечение качества данных и управления ими.

Инженерия платформы данных: Проектирование и поддержка надежной, масштабируемой и безопасной инфраструктуры данных на Databricks, охватывающей как потоковые, так и пакетные нагрузки. Разработка конвейеров данных: Проектирование, разработка и поддержка конвейеров данных, в основном на Python и Spark, для автоматизации приема и трансформации данных из внутренних систем, внешних провайдеров и ончейн-источников. Моделирование данных: Проектирование и поддержка размерных моделей данных и слоев трансформации в dbt, с тестами и документированными контрактами, чтобы метрики были согласованными и переиспользуемыми по всей компании. Управление озером данных: Управление слоями озера данных и lakehouse, обеспечивая эффективное хранение, правильное секционирование, высокое качество данных, а также мониторинг и оповещение, которые выявляют проблемы на ранних стадиях. Интеграция и настройка: Интеграция Databricks с широким спектром источников данных, включая захват изменений из операционных баз данных, сторонние API и данные блокчейна, а также адаптация потоков данных под конкретные бизнес-потребности. Производительность, масштабируемость и стоимость: Оптимизация конвейеров и хранилищ для производительности, надежности и экономической эффективности в масштабе. Управление данными и безопасность: Применение лучших практик управления, безопасности и соответствия требованиям в облачных средах и Databricks, включая контроль доступа, шифрование и мониторинг. Сотрудничество и документация: Тесная работа с инженерами платформы, аналитиками данных и другими заинтересованными сторонами для понимания требований к данным, а также документирование инфраструктуры, моделей и лучших практик.

Опыт в инженерии данных: 3+ года работы инженером данных, с практическим владением производственными конвейерами и архитектурой lakehouse или хранилища данных. Databricks и Spark: Сильный практический опыт работы с Databricks, Delta Lake и Spark, включая потоковую и пакетную обработку, и умение выбирать между ними. Моделирование данных: Глубокое понимание размерного моделирования, медленно меняющихся измерений и проектирования хранилищ данных, с умением определять и защищать зерно создаваемых моделей. Фреймворки трансформации: Опыт работы с dbt или аналогичным фреймворком для управления трансформациями, тестированием и происхождением данных. Владение облаком: Сильные базовые знания облака, включая управление доступом, объектное хранилище, сети и инфраструктуру как код. Мы работаем на AWS; глубокий опыт с Azure или GCP хорошо переносится. Владение Python и SQL: Уверенное написание производственных трансформаций, а также сервисов и коннекторов. Качество данных и управление: Опыт внедрения практик тестирования, мониторинга и управления в облачных средах данных. Желательно: Опыт с захватом изменений и репликацией из операционных баз данных Знакомство с блокчейном или ончейн-данными Инфраструктура как код, желательно Terraform, и CI/CD для рабочих нагрузок данных Опыт работы с BI и семантическими слоями, такими как Holistics, Looker или аналогичными Контейнеризация и оркестрация (Docker, Kubernetes)

Полная занятость Удаленная работа (по всему миру)