QA-инженер для AI-решений

Middle QA-инженер для AI-решений в Kokoc Tech. Удаленно в России, долгосрочный проект. До 1400 руб./час на руки. Поддержка AI-команды на платформе Dify.

Специалист участвует в поддержке AI-команды (RnD AI Team), которая реализует портфель AI-инициатив для бизнес-подразделений на внутренней платформе Dify (LLM-агенты, RAG, классификация, извлечение данных из документов, API/MCP-интеграции). Портфель включает ~200 инициатив, одновременно в работе 10-15. Задачи: 1. Подготовка тест-кейсов на основе требований и критериев приемки инициатив; 2. Функциональное и интеграционное тестирование AI-агентов, рабочих процессов на платформе Dify, API-интеграций с внутренними системами; 3. Проверка позитивных, негативных и граничных сценариев, включая нетипичные пользовательские запросы и 'галлюцинации' моделей; 4. Регрессионное тестирование после изменений в промптах, моделях, базе знаний (RAG) и интеграциях; 5. Проверка соответствия результатов согласованным требованиям и метрикам качества; 6. Создание и поддержка тестовых наборов (golden set) совместно с бизнесом и ML-командой, участие в оценке качества ответов; 7. Фиксация дефектов, отслеживание их устранения, отчетность о качестве релизов; 8. Проведение приемочного тестирования перед продакшн-релизом и участие в приемке с бизнесом.

Общий опыт: не менее 3 лет в тестировании ПО. Опыт в требуемом стеке/направлении: не менее 1 года тестирования продуктов на основе ML/LLM или тестирования API и интеграций бэкенд-сервисов; понимание специфики недетерминированных ответов моделей. Опыт в релевантных проектах: не менее 2 проектов по тестированию интеграционных/API-решений или AI-продуктов с продакшн-развертыванием; опыт построения регрессионных и тестовых наборов. Отраслевой опыт: желательно e-commerce, ритейл, B2B-дистрибуция, клиентский сервис. Обязательные технологии/инструменты: тест-дизайн, тестовая документация, баг-трекер; тестирование REST API (Postman или аналоги), чтение JSON, логов; SQL на уровне запросов для проверки данных; Python на базовом уровне для скриптов проверки и подготовки тестовых данных; понимание LLM, RAG, промптов и метрик качества AI (precision, recall, оценка ответов по критериям). Желательные технологии/инструменты: опыт с платформами оркестрации LLM (Dify, LangChain и др.); автоматизация API-тестов (pytest, requests) и инструменты LLM-eval (RAGAS, DeepEval, promptfoo или аналоги); опыт разметки и оценки ответов моделей (LLM-as-a-judge, ручная рубрика); CI/CD, Git на базовом уровне. Системы задач и документации: Jira / Yandex Tracker, Confluence / Yandex Wiki, Git, реестр AI-инициатив в Google Sheets.

Занятость: проектная, долгосрочный проект (полная занятость). Формат: удаленно в России. Локация: строго Москва, Саранск. Оформление: ГПХ, ИП. Зарплата: до 1400 руб. в час на руки. Важно: не рассматриваем кандидатов с проектами из Liman, Petrovich Tech, WB, Ozon, Lenta Tech, Yandex Market, M.Video за последние 6 месяцев.