Ավագ տվյալների ինժեներ (ETL միգրացիա)

Ավագ տվյալների ինժեներ հեռահաղորդակցության ETL միգրացիայի համար Apache ստեկին։ Հեռավար, լրիվ դրույքով, 250,000-270,000 ռուբլի զուտ։ IP պայմանագիր։

Նախագիծ՝ Հեռահաղորդակցություն։ Տեղեկատվական համակարգի միգրացիա Apache ստեկին։ Առաջադրանքներ՝ • Հեռահաղորդակցության օպերատորի ETL համակարգի միգրացիա Oracle/Informatica-ից Apache ստեկին (S3, Airflow, NiFi, Kafka, Greenplum) • Բիզնես տրամաբանության փոխանցում Informatica-ից բարձր արդյունավետության SQL կոդի • SQL գրել և օպտիմիզացնել տվյալների պահեստների և ETL գործընթացների համար • DAG-ների մշակում Airflow-ում • Խողովակաշարերի կարգավորում NiFi-ում (աղբյուրներ՝ Oracle, PostgreSQL; ստացողներ՝ S3, ֆայլային արխիվներ) • Spark աշխատանքների մշակում (PySpark) մեծ ծավալների համար • Ինտեգրում Kafka-ի հետ սթրիմինգի համար • Մոնիտորինգի կարգավորում (Grafana/Prometheus) և չափանիշների հետևում • Տվյալների որակի և բեռնման սխալների միջադեպերի հետաքննություն • Կոդի վերանայում

• ETL համակարգերի միգրացիայի փորձ (ցանկալի է Oracle/Informatica-ից Apache ստեկին) • Խորը SQL՝ վանդակի ֆունկցիաներ, բարդ միացումներ, հիերարխիկ հարցումներ • SQL օպտիմիզացիա բարձր ծանրաբեռնվածության համար (պարտիցիաներ, ինդեքսներ, explain պլաններ) • Oracle (PL/SQL) և PostgreSQL • Greenplum և/կամ Clickhouse • ճարտարապետության նախագծում Apache Spark (PySpark), NiFi, Airflow վրա • Hadoop (HDFS) և Hive • ETL մոնիտորինգ՝ Grafana/Prometheus կամ Victoria Metrics • Վճարային համակարգերի փորձ (ցանկալի է հեռահաղորդակցության ոլորտ) Լրացուցիչ առավելություններ՝ • Սթրիմինգ՝ Kafka Streams / Spark Streaming • Informatica PowerCenter (միգրացվող համակարգի ընկալում) • Երկուական պահեստավորման ձևաչափեր Hadoop-ում • Տարբերություններ՝ Hive ընդդեմ Impala, Greenplum ընդդեմ PostgreSQL, Clickhouse ընդդեմ PostgreSQL • Patroni PostgreSQL/Greenplum կլաստերացման համար • S3 պահեստավորում • CryptoPro կամ անվտանգ տվյալների փոխանցման ուղիներ

Աշխատավարձ՝ 250,000 - 270,000 ռուբլի զուտ Աշխատանքի տեսակ՝ Լրիվ դրույքով Աշխատանքի ձևաչափ՝ Հեռավար Տարածաշրջան՝ Ռուսաստան, ժամային գոտի MSK ± 3 ժամ Պայմանագիր՝ Միայն անհատ ձեռներեց (IP) Ընկերություն՝ Top Selection