Ավագ տվյալների ինժեներ

Trust Wallet-ը աշխատանքի է ընդունում Ավագ տվյալների ինժեներ հեռավար, լրիվ դրույքով պաշտոնի համար։ Դերը ներառում է տվյալների ենթակառուցվածքի կառուցում և պահպանում Databricks-ում, խողովակաշարերի մշակում Python-ով և Spark-ով, ինչպես նաև տվյալների որակի և կառավարման ապահովում։

Տվյալների հարթակի ճարտարագիտություն․ Նախագծել և պահպանել հուսալի, մասշտաբային և անվտանգ տվյալների ենթակառուցվածք Databricks-ում՝ ընդգրկելով ինչպես հոսքային, այնպես էլ խմբաքանակային աշխատանքները։ Տվյալների խողովակաշարերի մշակում․ Նախագծել, մշակել և պահպանել տվյալների խողովակաշարեր՝ հիմնականում Python-ով և Spark-ով՝ ավտոմատացնելու ներմուծումը և փոխակերպումը ներքին համակարգերից, արտաքին մատակարարներից և on-chain աղբյուրներից։ Տվյալների մոդելավորում․ Նախագծել և պահպանել ծավալային տվյալների մոդելներ և փոխակերպման շերտեր dbt-ում՝ թեստերով և փաստաթղթավորված պայմանագրերով, որպեսզի չափիչները հետևողական և վերաօգտագործելի լինեն ընկերության ողջ տարածքում։ Տվյալների լճի կառավարում․ Վերահսկել տվյալների լիճը և լճային տան շերտերը՝ ապահովելով արդյունավետ պահեստավորում, արդյունավետ բաժանում, բարձր տվյալների որակ և մոնիտորինգ ու ծանուցում, որոնք վաղ են բացահայտում խնդիրները։ Ինտեգրացիա և հարմարեցում․ Ինտեգրել Databricks-ը տվյալների լայն շրջանակի աղբյուրների հետ՝ ներառյալ փոփոխությունների գրանցումը գործառնական տվյալների բազաներից, երրորդ կողմի API-ներից և բլոկչեյնի տվյալներից, և հարմարեցնել տվյալների հոսքերը կոնկրետ բիզնես կարիքներին։ Կատարողականություն, մասշտաբայնություն և ծախս․ Օպտիմալացնել խողովակաշարերը և պահեստավորումը կատարողականության, հուսալիության և ծախսերի արդյունավետության համար մասշտաբում։ Տվյալների կառավարում և անվտանգություն․ Կիրառել լավագույն փորձը կառավարման, անվտանգության և համապատասխանության համար ամպային և Databricks միջավայրերում՝ ներառյալ մուտքի վերահսկումը, գաղտնագրումը և մոնիտորինգը։ Համագործակցություն և փաստաթղթավորում․ Սերտորեն աշխատել հարթակի ինժեներների, տվյալների վերլուծաբանների և այլ շահագրգիռ կողմերի հետ՝ հասկանալու տվյալների պահանջները և փաստաթղթավորելու ենթակառուցվածքը, մոդելները և լավագույն փորձը։

Տվյալների ճարտարագիտության փորձ․ 3+ տարի որպես տվյալների ինժեներ՝ արտադրական խողովակաշարերի և լճային տան կամ տվյալների պահեստի ճարտարապետության գործնական սեփականությամբ։ Databricks և Spark․ Ուժեղ գործնական փորձ Databricks-ի, Delta Lake-ի և Spark-ի հետ՝ ներառյալ ինչպես հոսքային, այնպես էլ խմբաքանակային մշակումը, և դրանց միջև ընտրելու դատողությունը։ Տվյալների մոդելավորում․ Հստակ ընկալում ծավալային մոդելավորման, դանդաղ փոփոխվող չափերի և տվյալների պահեստի նախագծման մասին՝ ձեր կառուցած մոդելների հատիկը սահմանելու և պաշտպանելու ունակությամբ։ Փոխակերպման շրջանակներ․ Փորձ dbt-ի կամ համարժեք շրջանակի հետ՝ փոխակերպումները, թեստավորումը և ծագումը կառավարելու համար։ Ամպային վարպետություն․ Ուժեղ ամպային հիմունքներ՝ ներառյալ ինքնության և մուտքի կառավարումը, օբյեկտների պահեստավորումը, ցանցը և ենթակառուցվածքը որպես կոդ։ Մենք աշխատում ենք AWS-ում; Azure-ի կամ GCP-ի խորը փորձը լավ է փոխանցվում։ Python-ի և SQL-ի իմացություն․ Հարմարավետ արտադրական փոխակերպումներ գրելը, ինչպես նաև ծառայություններ և միակցիչներ։ Տվյալների որակ և կառավարում․ Փորձ թեստավորման, մոնիտորինգի և կառավարման պրակտիկաների ներդրման մեջ ամպային տվյալների միջավայրերում։ Լրացուցիչ ցանկալի է․ Փորձ փոփոխությունների գրանցման և վերարտադրման հետ գործառնական տվյալների բազաներից Ծանոթություն բլոկչեյնի կամ on-chain տվյալների հետ Ենթակառուցվածքը որպես կոդ, իդեալականը Terraform, և CI/CD տվյալների աշխատանքների համար Փորձ BI և իմաստային շերտերի հետ, ինչպիսիք են Holistics-ը, Looker-ը կամ նմանատիպերը Կոնտեյներացում և օրկեստրացիա (Docker, Kubernetes)

Լրիվ դրույքով աշխատանք Հեռավար աշխատանք (Գլոբալ)