Детали вакансии

Инженер данных со знанием Java и Spark для крупного российского банка. Удаленная работа в пределах России. Зарплата от 300 тыс. руб./мес. Полная занятость. Проект включает репликацию и индексацию данных для обработки в реальном времени.

Проект: Репликация данных из источников в распределенный облачный кластер и индексация данных для обработки запросов в реальном времени. Задачи: Глобальные задачи команды — репликация и индексация данных из различных источников (в основном Apache Hive) в распределенный облачный кластер (также Apache Hive), для последующей обработки запросов в реальном времени через REST или брокеры сообщений (Kafka или IBM MQ) к этим данным (например, балансы счетов физических лиц по запросу госорганов, данные о товарах в чеке для покупки в мобильном приложении и т.д.).

Базовые знания Java (циклы, условия, хэш-таблицы и т.д.) Базовые знания и понимание CI/CD Linux (базовый), Ansible, SQL, Git, XML, JSON, XSLT, YAML Базовые знания экосистемы Hadoop и ее компонентов (Apache Solr, Apache Hive, Apache HBase, Apache Spark, Apache Zookeper, Apache Oozie, Apache Camel) Язык: Английский, технический уровень (чтение документации, профессиональных ресурсов)

Зарплата: от 300 тыс. руб./мес. Формат: удаленно в пределах России Занятость: полная