QA ինժեներ AI լուծումների համար

Միջին մակարդակի QA ինժեներ AI լուծումների համար Kokoc Tech-ում։ Հեռավար աշխատանք Ռուսաստանում, երկարաժամկետ նախագիծ։ Մինչև 1400 ռուբլի/ժամ համախառն։ Աջակցություն AI թիմին Dify հարթակում։

Մասնագետը ներգրավված է AI թիմի (RnD AI Team) աջակցման մեջ, որը իրականացնում է AI նախաձեռնությունների պորտֆել բիզնես ստորաբաժանումների համար ներքին Dify հարթակում (LLM գործակալներ, RAG, դասակարգում, տվյալների արդյունահանում փաստաթղթերից, API/MCP ինտեգրացիաներ)։ Պորտֆելը ներառում է ~200 նախաձեռնություն, որոնցից 10-15 միաժամանակ ընթացքի մեջ են։ Առաջադրանքներ՝ 1. Թեստային դեպքերի պատրաստում՝ հիմնված նախաձեռնությունների պահանջների և ընդունման չափանիշների վրա; 2. AI գործակալների, աշխատանքային հոսքերի ֆունկցիոնալ և ինտեգրացիոն թեստավորում Dify հարթակում, API ինտեգրացիաներ ներքին համակարգերի հետ; 3. Դրական, բացասական և սահմանային սցենարների ստուգում, ներառյալ ոչ տիպիկ օգտագործողի հարցումները և մոդելի «հալյուցինացիաները»; 4. Ռեգրեսիոն թեստավորում՝ պրոմպտների, մոդելների, գիտելիքների բազայի (RAG) և ինտեգրացիաների փոփոխություններից հետո; 5. Արդյունքների համապատասխանության ստուգում՝ համաձայնեցված պահանջներին և որակի չափանիշներին; 6. Թեստային հավաքածուների (golden set) ստեղծում և պահպանում՝ բիզնեսի և ML թիմի հետ համատեղ, մասնակցություն պատասխանների որակի գնահատմանը; 7. Թերությունների գրանցում, դրանց լուծման մոնիտորինգ, թողարկման որակի վերաբերյալ հաշվետվություն; 8. Ընդունման թեստավորում՝ նախքան արտադրական թողարկումը և մասնակցություն բիզնեսի հետ ընդունմանը։

Ընդհանուր փորձ՝ առնվազն 3 տարի ծրագրային ապահովման թեստավորման ոլորտում։ Փորձ պահանջվող տեխնոլոգիաների/ուղղության մեջ՝ առնվազն 1 տարի ML/LLM հիմքով արտադրանքների թեստավորում կամ API և բեքենդ ծառայությունների ինտեգրացիաների թեստավորում; ոչ դետերմինիստական մոդելի պատասխանների առանձնահատկությունների ընկալում։ Համապատասխան նախագծային փորձ՝ առնվազն 2 նախագիծ՝ ինտեգրացիոն/API լուծումների կամ AI արտադրանքների թեստավորում՝ արտադրական տեղակայմամբ; ռեգրեսիոն և թեստային հավաքածուների կառուցման փորձ։ Ոլորտային փորձ՝ նախընտրելի է էլեկտրոնային առևտուր, մանրածախ, B2B բաշխում, հաճախորդների սպասարկում։ Պարտադիր տեխնոլոգիաներ/գործիքներ՝ թեստի ձևավորում, թեստային փաստաթղթեր, սխալների հետևման համակարգ; REST API թեստավորում (Postman կամ նմանատիպ), JSON ընթերցում, լոգեր; SQL՝ տվյալների ստուգման հարցումների մակարդակով; Python՝ հիմնական մակարդակով՝ ստուգման սցենարների և թեստային տվյալների պատրաստման համար; LLM, RAG, պրոմպտների և AI որակի չափանիշների ընկալում (precision, recall, պատասխանների գնահատում չափանիշներով)։ Նախընտրելի տեխնոլոգիաներ/գործիքներ՝ LLM օրկեստրացիոն հարթակների փորձ (Dify, LangChain և այլն); API թեստավորման ավտոմատացում (pytest, requests) և LLM-eval գործիքներ (RAGAS, DeepEval, promptfoo կամ նմանատիպ); մոդելի պատասխանների մակնշման և գնահատման փորձ (LLM-as-a-judge, ձեռքով ռուբրիկ գնահատում); CI/CD, Git՝ հիմնական մակարդակով։ Առաջադրանքների և փաստաթղթավորման համակարգեր՝ Jira / Yandex Tracker, Confluence / Yandex Wiki, Git, AI նախաձեռնությունների գրանցամատյան Google Sheets-ում։

Աշխատանք՝ նախագծային, երկարաժամկետ նախագիծ (լրիվ դրույք)։ Ձևաչափ՝ հեռավար Ռուսաստանի տարածքում։ Վայր՝ խստորեն Մոսկվա, Սարանսկ։ Գրանցում՝ GPC, IP։ Աշխատավարձ՝ մինչև 1400 ռուբլի մեկ ժամում համախառն։ Կարևոր է՝ մենք չենք դիտարկում թեկնածուներին, ովքեր վերջին 6 ամսվա ընթացքում նախագծեր են ունեցել Liman, Petrovich Tech, WB, Ozon, Lenta Tech, Yandex Market, M.Video ընկերություններից։