Детали вакансии

Старший инженер по данным для долгосрочного правительственного проекта в Абу-Даби, ОАЭ. Предоставляется поддержка при переезде. Фокус на создании Data Lakehouse и конвейеров для проектов ИИ. Требуется опыт работы с Python, SQL, Spark, Kafka, Airflow, Databricks, интеграцией SAP. Английский B2+.

Создание современного Data Lakehouse и конвейеров для неструктурированных данных в рамках крупномасштабного проекта ИИ для рабочих процессов в области цепочек поставок и инжиниринга. Работа в строго регулируемой и безопасной среде. Технологический стек: Языки: Python, SQL. Стек данных: Spark, Kafka, Airflow, Databricks / Delta Lake. Интеграции: SAP S/4HANA, SAP Ariba (SAP BTP — плюс), системы PLM. AI Ops: Векторные БД (Weaviate / Milvus), конвейеры для RAG. Инфраструктура: Docker, Kubernetes, CI/CD, dbt / Dagster / Prefect. Обязанности: — Проектирование и внедрение архитектуры Data Lakehouse как единого источника истины для аналитики и ИИ. — Создание конвейеров приема данных из корпоративных систем (SAP, PLM) с возможностью получения данных почти в реальном времени. — Интеграция внешних рыночных данных для обогащения данных о закупках и операциях. — Обработка неструктурированных данных (тендеры в PDF, чертежи, техническая документация) в форматы, готовые для векторного поиска (RAG). — Оптимизация векторных баз данных для быстрого извлечения информации. — Внедрение управления: аудит, RBAC, отслеживание происхождения данных, автоматизированные проверки качества данных (BOM, стоимость).

Обязательно: — Опыт работы инженером по данным более 5 лет (более 2 лет с конвейерами для ML/GenAI/RAG). — Уверенный опыт работы со Spark, Kafka и Airflow. — Подтвержденный опыт интеграции с системами SAP (S/4HANA, Ariba). — Практические навыки работы с Databricks и PostgreSQL. — Готовность пройти строгую проверку безопасности. Желательно: — Знание предметной области цепочек поставок / производства (жизненный цикл закупок, BOM). — Опыт работы в закрытых/ограниченных сетевых средах. — Понимание концепций Digital Thread и отслеживаемости данных.

Переезд: Полная поддержка при переезде. Минимум первые 6 месяцев на месте, затем возможна гибридная или удаленная работа по договоренности. Формат: Полная занятость (долгосрочный проект от Правительства). Начало: Как можно скорее.