Как оценить пилот генеративного ИИ в рабочем процессе

Стопки карточек с отметками на рабочем столе

Для пилота генеративного ИИ выберите одну задачу, по которой можно сравнить результат с обычной работой. Например, подготовку внутреннего краткого резюме на основе утверждённой инструкции. Сразу запишите, как оценивается точность, кто проверяет результат и при каком нарушении пилот останавливается. Сэкономленное время имеет смысл считать вместе со временем проверки и исправления, иначе эффективность может оказаться завышенной.

Опишите, на что модель имеет право опираться

Возьмите задачу с известным источником и ограниченным результатом. Для внутреннего резюме можно использовать несколько учебных документов, разрешённых к обработке в выбранном инструменте. Исключите сведения, которые компания не вправе передавать ему, и проверьте правила хранения, доступа и удаления. Для первой оценки часто достаточно обезличенной или специально подготовленной выборки. Попросите проверяющего сверять важные формулировки с исходным документом.

Заранее запишите, что считать нарушением. Например, в итоговом резюме нельзя приписывать документу правило, которого в нём нет. Отдельно отметьте случаи, когда модель должна признать, что информации недостаточно, и передать вопрос человеку. Если автоматизация затрагивает важные внешние решения, внутренний эксперимент сам по себе не подтверждает готовность к такой работе.

Подготовьте контроль и сложные примеры

Составьте несколько обычных заданий и несколько случаев с неполными или противоречивыми сведениями. Для каждого сохраните ожидаемые признаки ответа: важный факт включён, отсутствует выдуманное условие, указано спорное место. Не выбирайте только примеры, на которых инструмент уже показал красивый результат. Сохраните отдельный набор до изменений настроек, чтобы повторная проверка не сводилась к воспроизведению знакомых ответов.

Сначала выполните те же задания обычным способом. Запишите время и итоговое качество. Затем проверьте работу с моделью по тем же правилам. Если часть исправлений не записана, полученное время будет сравнивать разные процессы. Включите чтение источника, взаимодействие с системой, вычитку и перенос текста в рабочий журнал. Достоинство пилота состоит в сопоставимости, а не в одной цифре.

Разберите последствия ошибок отдельно

Для документа со всеми фактами можно оценить полноту. Для замечания с ошибкой важно определить последствия: заметная опечатка и неподтверждённое правило потребуют разного решения. Отдельно запишите, как заметили проблему и может ли обычный сотрудник повторить проверку. Если исправление возможно только после привлечения автора источника, это дополнительная часть процесса, которую следует учитывать в стоимости.

Подход NIST к измерению рисков ИИ включает процедуры и показатели, по которым можно проверять пригодность системы для заявленной цели, а также отслеживать ошибки. Для малого пилота выберите несколько наблюдаемых признаков и собственный критерий остановки. Не переносите чужие пороги на другую задачу автоматически. Важные ошибки полезно показать отдельно, даже если средний результат кажется хорошим.

Примите решение по результатам, а не по демонстрации

В отчёте оставьте описание задачи, набор тестов, итоговое время, существенные ошибки и ограничения. Если результат подходит только при проверке человеком, включите этот шаг в рабочий процесс и оценку затрат. Для расширения повторите испытание на новых примерах и назначьте ответственного за изменения источников и настроек. Тогда следующая проверка покажет, сохранились ли качество и экономия времени после перехода от демонстрации к обычной работе.

Предусмотрите, кто может остановить пилот при изменении условий. Например, источник инструкции обновился, а команда пока оценивает ответы по прежнему тексту. В таком случае обозначьте новую версию и повторите несколько контрольных случаев. Сравнение по старому набору остаётся полезным для истории, но не показывает пригодность к актуальной задаче. Если руководство просит один итоговый показатель, приложите к нему несколько разобранных ошибок и уточните объём выборки. Это помогает понять, что именно удалось проверить и на какую работу можно распространить результат.

NIST AI RMF Playbook, Measure.