Старший инженер данных

Keyrock ищет старшего инженера данных, который присоединится к новой центральной команде по данным и будет строить Keyrock Data Platform. Удалённая работа с хабами в Лондоне, Брюсселе и Сингапуре; требуется 8+ лет опыта создания систем данных в продакшене.

С 2017 года Keyrock выросла в ведущего маркет-мейкера в сфере цифровых активов — более 250 сотрудников, 42 национальности — с услугами, охватывающими маркет-мейкинг, торговлю опционами, высокочастотную торговлю, OTC и торговые подразделения DeFi. Центральной команде по данным всего несколько месяцев, и она строит Keyrock Data Platform, чтобы дать сотрудникам Keyrock и ИИ-агентам, работающим вместе с ними, данные и контекст, необходимые для быстрых и автономных действий. Что вы будете делать - Создавать потоковые и пакетные пайплайны, которые принимают, нормализуют и распространяют рыночные данные, данные о торговле и портфелях, устойчивые к сбоям фидов и бирж - Создавать инструменты самообслуживания (SDK, паттерны, шаблоны, ИИ-агенты), чтобы другие команды могли публиковать, потреблять и строить на основе продуктов данных, не дожидаясь команды - Отвечать за контракты данных и эволюцию схем - Проектировать lakehouse и слой временных рядов вокруг паттернов запросов потребителей - Создавать и развивать фреймворк управления данными и качества данных: обнаружение устаревших фидов, валидация схем, проверки диапазонов, идемпотентные записи, происхождение данных, владение, самовосстановление - Создавать производную аналитику, на которой работает бизнес: межбиржевые спреды, VWAP на глубине, микроструктура книги заявок, представления портфеля, экспозиция, результативность - Сделать наблюдаемость, стоимость и производительность первоклассными с первого дня - Рассматривать инфраструктуру как код (Docker, Terraform, CI/CD)

- 8+ лет создания продакшен-систем данных, на которые полагаются другие люди - Уверенное владение Python и SQL, способность рассуждать о том, что делает движок - Сильное понимание моделирования данных как для потоковых, так и для аналитических нагрузок - Проектировали и эксплуатировали потоковые системы на Kafka, Redpanda, MSK или Kinesis, имеете обоснованное мнение о партиционировании, группах потребителей, смещениях и реестрах схем - Использовали хранилище временных рядов в продакшене (в идеале ClickHouse; TimescaleDB, QuestDB или аналоги), можете говорить о дизайне таблиц как функции от паттернов запросов - Работали с lakehouse-архитектурой; рассуждаете о структуре таблиц, партиционировании и компакции - Создаёте решения с расчётом на самовосстановление и идемпотентность; Docker, Terraform и CI/CD — основа вашей работы - Понимаете финансовые рыночные данные: книги заявок, сделки, справочные данные, портфели, экспозиции. Крипта, TradFi или и то и другое — большое преимущество - Будет плюсом: Apache Iceberg или Delta Lake; DataHub или аналоги; Rust

Удалённо (хабы: Лондон / Брюссель / Сингапур)