Ավագ ծրագրավորող LLM Inference Optimization թիմում՝ Avito-ում

Avito-ի LLM Inference Optimization թիմը փնտրում է Ավագ ծրագրավորողի՝ օպտիմալացնելու LLM-ի ներածումը GPU-ի վրա, բարձրացնելու սարքավորման արդյունավետությունը և օգնելու արտադրանքի թիմերին մոդելների տեղակայման հարցում։

Պարտականություններ՝ - Անցկացնել մոդելների բեռնվածության թեստավորում ըստ արտադրանքի թիմերի հարցումների և օպտիմալացնել կոնկրետ օգտագործման սցենարների համար։ - Մշակել կատարողականի գնահատման մեթոդաբանություն LLM-ների համար մեր սարքավորման վրա՝ չափանիշներ, գործիքներ և մոնիտորինգ։ - Պարբերաբար չափել կատարողականը, հետևել նոր մոդելների թողարկումներին և պահպանել արդյունքների աղյուսակը։ - Փորձարկել նոր GPU-ներ և վերահսկել դրանց կոնֆիգուրացիան ենթակառուցվածքի և ինֆերենցիայի պլատֆորմի թիմերի հետ։ - Մասշտաբավորել օպտիմալացումները մոդելների ամբողջ պարկի վրա՝ սպեկուլյատիվ վերծանում, բազմա-LoRA, բաշխված ինֆերենցիա, անցում դեպի նոր ինֆերենցիայի բեքենդներ։ - Իրականացնել փոփոխություններ արտադրությունում՝ հետևելով ցիկլին՝ պրոֆիլավորում, օպտիմալացում, թեստավորում, տեղակայում հաստատված չափանիշներով։ - Գործարկել LLM մոդելներ ինֆերենցիայի պլատֆորմի միջոցով։

Պահանջներ՝ - Փորձ LLM մոդելների օպտիմալացման մեջ՝ հիմնված բեռնվածության պրոֆիլների վրա։ - Աշխատել եք LLM ինֆերենցիայի շրջանակներով՝ vLLM, SGLang, TensorRT-LLM և այլն; գործարկել և կարգավորել եք դրանք՝ փոփոխելով պարամետրերը։ - Հասկանալ LLM ինֆերենցիայի ներքին մեխանիզմները և օպտիմալացման մեթոդները՝ prefill, decode, KV cache, batching, speculative decoding, quantization։ - Գիտելիք GPU-ի սկզբունքների մասին՝ հիշողություն, թողունակություն, օգտագործում, NVLink, բազմա-GPU կոնֆիգուրացիաներ։ - Պրոֆիլավորել եք GPU-ներ և օգտագործել մոնիտորինգի գործիքներ։ - Անցկացրել եք LLM մոդելների բեռնվածության թեստավորում և չափանիշավորում՝ latency, TTFT, TPOT, throughput և այլն, ճիշտ համեմատությամբ և եզրակացություններով։ - Փորձ Docker, Kubernetes, Prometheus, Grafana չափանիշների և վահանակների հետ։ - Պատրաստակամություն տեղակայել փոփոխություններ արտադրությունում, պահպանել դրանք և բացատրել արդյունքները արտադրանքի թիմերին։ Ցանկալի է՝ - Գրել կամ օպտիմալացրել եք CUDA միջուկներ; հասկանում եք SIMT և NVIDIA GPU ճարտարապետությունը։ - Իրականացրել եք սպեկուլյատիվ վերծանում, բազմա-LoRA սպասարկում կամ բաշխված ինֆերենցիա։ - Աշխատել եք երթուղու և բեռի հավասարակշռման հետ՝ հաշվի առնելով KV cache-ը՝ llm-d, NVIDIA Dynamo, Mooncake կամ նմանատիպ։ - Գիտեք C++ կամ Go։ - Հետևում եք բաց կոդով հոդվածներին և նախագծերին ինֆերենցիայի արագացման վերաբերյալ և արագ փորձարկում եք գաղափարները գործնականում։

Պայմաններ՝ - Գրասենյակ Մոսկվայում։ - Ընդլայնված բժշկական ապահովագրություն՝ կամավոր առողջության ապահովագրություն, կյանքի ապահովագրություն, քաղցկեղի ապահովագրություն։ - Հոգեբանական աջակցության ծառայություն, գումարած ֆինանսական, իրավական և առողջ ապրելակերպի խորհրդատվություն ձեզ և ձեր ընտանիքի համար։ - Կորպորատիվ սպորտ՝ խմբակային մարզումներ, առողջության հավելված։ - Հատուկ առաջարկներ գործընկերներից և զեղչեր Avito ծառայությունների վրա՝ կացարանի ամրագրում, գովազդային ծառայություններ, հիփոթեքի ապահովագրություն։ - Սննդի փոխհատուցում։ - Ինժեներական ազատություն մասշտաբային առաջադրանքներ իրականացնելու համար։ - Արտադրանքին ուղղված մոտեցում ենթակառուցվածքին՝ հիմնված չափանիշների վրա։ - Ուժեղ ինժեներական համայնք աջակցության և փորձի փոխանակման համար։ - Արդյունավետ աճի գործիքներ՝ իրավասությունների մատրիցա, ներքին ուսուցում, մենթորություն և փորձի փոխանակում։