Корпоративная ИИ-платформа для экзаменов: от идеи до пилота и подводных камней - IT Speaker, новости информационных технологий

Корпоративная ИИ-платформа для экзаменов: от идеи до пилота и подводных камней

Редакция

14:00 / 09 июля 2026

Компания Sandboxer создала корпоративную ИИ-платформу для экзаменов и столкнулась с рядом сложностей. Главным препятствием стал не движок с таймерами и адаптивностью, а генерация вопросов – она изначально казалась самой простой задачей. Движок написали за неделю, а работа над вопросами идет до сих пор. В этом контрасте и заключается главный смысл. Руководитель проектов и продуктов Sandboxer Ольга Заречная рассказала IT Speaker, почему так вышло и как работать с генерируемым контентом. 

Фотография freepik

Кадры и время: главные тормоза аттестации 

В крупных компаниях с регулярной аттестацией подготовка экзаменов примерно одинакова и длится от трех недель до квартала: появляется новый регламент, методист пишет 50-200 вопросов на курс, эксперт по теме читает черновик и вносит правки, HR проверяет на соответствие требованиям, стартует пилотная группа, снова правки, затем запуск релиза.

Здесь сложность кроется в двух факторах. Во-первых, нехватка хороших методистов. Когда регламентов много, очередь за специалистами становится фатальной. Во-вторых, ресурсы на проведение аттестации. Собрать людей, организовать площадку, выделить наблюдателей, обработать результаты вручную – это время и деньги, которые множатся на количество сотрудников и частоту аттестаций. 

Поэтому перед Sandboxer стояла задача сократить путь от документа до готового пакета вопросов. Важно было не заменить эксперта, а убрать самую дорогую и однообразную часть его работы. 

Первый блин – комом 

Первые прототипы компания делала по схеме: загрузить документ, написать промпт с инструкциями, получить список вопросов. Модель работала, но ответы не были качественными, что вынудило искать другие решения. Среди главных недостатков были:

  • тематические перекосы. В документе из 15 разделов половина вопросов посвящена только одному разделу, в остальных – по одному вопросу или вообще без них;

  • поверхностные формулировки. «Что такое X?», «Назовите три принципа Y» – вопросы, которые проверяют только память, а не понимание. Экзамен же направлен на проверку применения, а не пересказ определений; 

  • дубли в разных формулировках. Модель генерирует пять одинаковых вопросов, просто перефразировав их;

  • непредсказуемость. На один и тот же промпт можно получить разные результаты по структуре, количеству вопросов, детализации. 

Анатомия правильной генерации 

Далее команда решила разбить большой промпт на генерацию отдельных этапов, отвечающих за одну задачу: 

  • анализ документа. Платформа строит карту: о чем документ, его темы, как они соотносятся по объему и важности. Было добавлено правило: если по теме невозможно задать больше одного осмысленного вопроса – скорее всего, это часть более широкой темы. Это улучшило структуру; 

  • план генерации. Перед генерацией вопросов система делает план: сколько вопросов на каждую тему, какой уровень сложности;

  • генерация по заданной схеме. Модель заполняет фиксированную структуру: вопрос, варианты ответа, правильный ответ, объяснение, ссылка на раздел документа. Если что-то не так – повторный запрос с уточнением; 

  • автоматическая проверка. Каждый вопрос проходит серию проверок: нет ли дубля в банке, правильно ли он привязан к теме, однозначен ли ответ. Затем он отправляется на доработку или помечается для эксперта;

  • ревью эксперта. Он принимает вопрос, правит формулировку или отклоняет. Финальное слово всегда остается за человеком с предметными знаниями. 

Адаптив как новая философия аттестации 

Сгенерировать банк вопросов – это только половина задачи. Главной целью было добиться, чтобы платформа работала как настоящий экзаменатор. Так, в стандартных тестах «выбери один из четырех» можно угадать, заучить правильные ответы на конкретные вопросы и пройти аттестацию, не понимая ни слова из регламента. Адаптивный формат это исключает: экзамен направлен на то, где у человека пробелы. 

Как это работает: если человек отвечает на вопрос неточно – платформа не засчитывает неверный ответ и не идет дальше. Она задает уточняющий вопрос, чтобы понять, где именно пробел. Если отвечает четко и правильно – следующий вопрос проверяет уже его понимание: сможет ли он применить это в конкретной ситуации, или просто заучил формулировку. 

Под эту логику и выстраивалась генерация: в банке должны быть вопросы разного уровня и разных типов, которые можно комбинировать в зависимости от ответов. 

Ручная доводка 

Промпт – это не просто инструкция, а настройка под конкретную модель: как она отвечает, где обычно ошибается, как понимает неоднозначные требования. Когда долго работаешь с одной моделью, начинаешь под нее подстраиваться: добавляешь ограничения именно там, где она проваливается, подбираешь формулировки, которые она понимает правильно. 

Команда Sandboxer это почувствовала, когда пришлось менять модель. Причины бывают разные: провайдер меняет версию, появляется что-то лучше, меняются требования по стоимости. У них подобное произошло несколько раз: все настроенные промпты переставали работать так, как раньше. Они не давали ошибку, но показывали другой результат. Например, распределение вопросов, другой стиль, другое поведение там, где раньше все было предсказуемо. 

В связи с этим Sandboxer сделала несколько выводов: 

  • промпт – не продукт, а параметр. Его нужно хранить с привязкой к конкретной версии модели и перепроверять при каждом обновлении; 

  • жесткие проверки на выходе важнее хорошего промпта. Чем строже автоматические проверки результата, тем меньше зависимость от того, как именно ведет себя конкретная модель; 

  • эксперт в процессе. Ревью эксперта делает систему устойчивой. Он замечает ухудшение качества раньше, чем любые автоматические тесты. 

Три болевые точки Sandboxer 

Платформа работает, основной конвейер стабилен, интерфейс для проверки вопросов есть. Сейчас запущен пилот с реальными заказчиками. Sandboxer также отметила зоны, где остаются проблемы: дубли по смыслу, специфические отраслевые документы в нефтехимии, промышленной безопасности, медицине, которые требуют отдельной настройки. Отдельная головная боль – смена модели. Главным выводом компании стала мысль о том, что генерация контента – это не промпт, это процесс. Промпты устаревают, а в процессе необходима работа человека.


Поделиться новостью