Детали вакансии

Ищем Старшего DevOps инженера для создания масштабируемой платформы данных с использованием AWS, Kubernetes и IaC. Обязанности включают разработку инфраструктуры для Trino, Spark и ML-моделей. Требуется экспертный уровень владения Kubernetes, IaC, GitLab CI и AWS.

Мы ищем DevOps инженера, который не просто "поддерживает продакшн", но и строит масштабируемую платформу данных. Вам предстоит разработать инфраструктуру, на которой работают Trino, Spark и ML-модели, используя лучшие практики IaC и Kubernetes. Стек технологий Core Infra: AWS (EKS, VPC, IAM), Kubernetes, Terragrunt CI/CD: GitLab CI Compute & Query: Trino, Apache Spark Storage: S3 (Data Lake, Apache Iceberg), ClickHouse, ScyllaDB Orchestration: Apache Airflow (Kubernetes Executor) Observability: Prometheus, Grafana, ELK Deployment: Helm Что предстоит делать: Разработка Kubernetes платформы (EKS) Написание и поддержка сложных Helm charts для stateful приложений (Trino, ClickHouse, Solr, ScyllaDB). Управление ресурсами, автоскейлинг (HPA/VPA, Cluster Autoscaler, Karpenter). Настройка network policies, Ingress, service mesh при необходимости. Infrastructure as Code Полное описание инфраструктуры через Terragrunt: EKS кластера, VPC, IAM, S3, RDS и т.д. Поддержка DRY принципа, управление состоянием в AWS S3. Структурирование кода для нескольких окружений (dev/stage/prod). CI/CD пайплайны Построение процессов доставки кода и данных через GitLab CI. Настройка GitLab Runners (в том числе на Kubernetes), кеширование артефактов. Автоматизация тестирования инфраструктуры, Helm charts, Terraform модулей. Observability Настройка сбора метрик через Prometheus (ServiceMonitors, PodMonitors, Exporters). Визуализация в Grafana: дашборды для Data компонентов и инфраструктуры. Настройка алертинга для критических сценариев: replication lag, очередь задач Spark/Airflow, утилизация ресурсов. Централизованный сбор логов. Data Ops Поддержка Trino и Spark кластеров, обеспечение их взаимодействия с S3 (Iceberg) и базами данных (Solr, ScyllaDB). Настройка Airflow на Kubernetes Executor, помощь DE команде с инфраструктурными вопросами. Участие в incident response. ML Support Обеспечение стабильной работы ML сервисов (Solr, ScyllaDB, Redis) в продакшене. Поддержка инфраструктуры для MLflow, Feast, inference services.

Что хотим видеть: Если вы не работали с инструментами ниже, к сожалению, нам будет сложно: Kubernetes (Expert level): Вы не просто используете готовые манифесты, а понимаете внутреннее устройство EKS, можете писать свои Helm charts с нуля и отлаживать сложные проблемы (OOMKilled, Pending pods, PVC issues, networking). IaC: Умение структурировать код для нескольких окружений (dev/stage/prod). GitLab CI: Глубокое понимание .gitlab-ci.yml, опыт настройки пайплайнов со сложной логикой. AWS: Понимание сетевого взаимодействия и управления правами (IAM Policies/Roles, IRSA). Опыт эксплуатации Big Data стека: например, Trino (Presto), Spark, Airflow. Опыт работы с колоночными NoSQL (ScyllaDB/Cassandra). Опыт работы с поисковыми движками (Solr или Elasticsearch). Понимание MLOps процессов и опыт работы с ML инфраструктурой (MLflow, Feast, KServe). Опыт работы с GitOps (ArgoCD, Flux). Опыт работы с Apache Iceberg и архитектурой Data Lake.