Пилот ИИ работает. Достаточно ли этого, чтобы масштабировать?

Мне кажется важным не обесценивать технический успех. Иногда разговор о ценности ИИ начинается так, будто работающий пилот ничего не значит, пока рядом не появился сложный финансовый расчёт. Это другая крайность.

Если ИИ стабильно делает то, что раньше было только предположением, мы уже получили важное знание. Это больше не разговор о возможностях технологии вообще: есть конкретная задача, данные, результат и условия, в которых система справляется.

Но способность выполнить действие — ещё не описание эффекта этого действия для бизнеса.

Например, система стала гораздо быстрее готовить определённый материал. Что именно из этого следует? Сократилось время производства? Человек освободился для другой работы? Теперь можно выпускать больший объём? Снизилась стоимость процесса? Выросло качество? Исчезла зависимость от конкретного специалиста?

Это разные результаты.

В Telegram-канале «Между» я уже возвращалась к этому различению с другой стороны. Разбирая лекцию Лоуренса Морони, я писала о необходимости сначала понять исходное намерение, прежде чем строить вокруг него техническое решение. Человек может просить внедрить агентов, а за этим запросом на самом деле стоять желание сократить человеческие часы или снять перегруз. Если это различение пропустить, можно создать хорошо работающую систему и всё же не изменить исходную ситуацию.

После успешного пилота этот вопрос никуда не исчезает. Наоборот, его легче пропустить, потому что технология уже показала, что умеет делать нужную работу.

Пилот отвечает: «это можно сделать с ИИ».

Но ценность для бизнеса начинается с другого вопроса: «что должно было измениться благодаря тому, что теперь это можно делать с ИИ?»

В одном случае ценностью действительно окажется рост объёма. В другом — уменьшение человеческого участия. В третьем — скорость. Где-то главным станет качество или возможность выполнять работу, которую раньше вообще не делали.

Пока неясно, какого изменения ожидали, самого факта успешного выполнения недостаточно для вывода о ценности всего способа работы.

И именно здесь эта статья отличается от материала «Автоматизация есть. Куда исчезло обещанное время?». Там меня интересовало, почему ускорение отдельных операций не обязательно превращается в свободное время. Здесь вопрос другой: даже если пилот показал хороший результат, достаточно ли этого, чтобы считать ценным весь рабочий процесс и расширять его дальше?

У работающего пилота есть естественное преимущество: результат хорошо виден.

Ответ появился. Документ подготовлен. Классификация сделана. Действие выполнено. Это можно продемонстрировать и сравнить с тем, что было раньше.

Гораздо менее заметна человеческая работа, необходимая для получения надёжного результата.

В собственном опыте с агентом у меня была ситуация, когда сообщение о выполненной задаче не совпало с тем, что я обнаружила при внешней проверке. Этот эпизод впоследствии привёл меня к более подробному различению результата, пути его получения и следа, по которому можно восстановить происходившее. Я отдельно разбирала эту тему в материале «Когда ИИ говорит “готово”», поэтому здесь не буду её повторять.

Для оценки пилота достаточно более узкого вывода: если надёжный результат требует человеческой проверки, исправления или окончательного профессионального решения, эта работа входит в стоимость рабочего процесса так же, как само выполнение ИИ.

То же относится и к ускорению. В моей работе ИИ действительно позволял значительно быстрее получать первые результаты и начинать следующую задачу, но часть материалов затем требовала проверки, а иногда и полной перепроверки. Ускорение при этом оставалось реальным. Просто скорость генерации была не всей стоимостью готового результата.

Поэтому вопрос не в том, есть ли после пилота проверка. Само её наличие ещё ничего не говорит о выгодности системы.

Важнее другое: сколько работы требуется, чтобы превратить результат ИИ в результат, которому действительно можно доверять и использовать дальше?

Если система создаёт результат за несколько минут, а опытному человеку затем приходится долго его проверять и исправлять, ценность нельзя описывать только скоростью первой операции. Но нельзя и автоматически признать такой пилот невыгодным: возможно, весь процесс с проверкой всё равно существенно лучше прежнего.

Считать нужно не только производство результата, а работу, необходимую для его надёжного использования.

Есть ещё один слой, который плохо виден в момент первого успешного результата: система продолжает существовать после пилота.

Процесс меняется. Появляются новые данные. Интеграции приходится обновлять. Правила и ограничения требуют пересмотра. То, что сегодня собрано достаточно быстро и хорошо выполняет задачу, позже может потребовать сопровождения.

В одном из постов «Между», разбирая лекцию Морони, я писала о последующей цене быстрых решений: изменение одной части со временем может сделать следующие изменения сложнее. Из этого не следует, что каждый пилот ИИ обязательно создаёт технический долг. Мне важнее более общая мысль: у решения есть не только стоимость создания, но и стоимость дальнейшего существования.

Автоматизация может сегодня убрать несколько ручных действий. Через некоторое время может понадобиться изменить процесс, заменить интеграцию, пересмотреть доступы, обновить правила или приспособить систему к новой реальности.

В собственных экспериментах я замечала и другой вид последующей работы: вместе с возможностью передавать системе больше действий появлялись вопросы об информации, доступах и границах самостоятельного действия. Это не отдельная тема этой статьи, а часть того же расчёта: уменьшение ручного исполнения не всегда означает исчезновение человеческой работы вокруг системы.

Поэтому после пилота я бы смотрела не только на операцию, которую теперь выполняет ИИ. В общую стоимость входят также проверка, присмотр там, где он необходим, сопровождение и те изменения, без которых система со временем перестанет соответствовать рабочему процессу.

Есть ещё один вопрос, который способен заметно изменить оценку пилота: как вообще определяется хороший результат?

В одном из постов «Между» я рассматривала это через наличие внешнего критерия. Там, где результат можно проверить по достаточно определённому признаку, человеческое участие может быть устроено одним образом. Там, где качество в конечном счёте требует профессионального суждения, — другим.

Возьмём два работающих пилота. Оба дают результат быстро и оба показывают, что ИИ способен выполнить задачу.

В первом случае корректность можно установить по внешнему условию: нужное действие выполнено или нет, данные соответствуют известному критерию или нет.

Во втором случае результат каждый раз должен оценить опытный человек: достаточно ли он точен, допустим ли в этом контексте, не потеряно ли важное различие, можно ли использовать его в конкретной ситуации.

Способность ИИ может быть высокой в обоих случаях. Но стоимость рабочего процесса и возможность его расширения будут устроены по-разному.

Если каждый дополнительный результат требует профессионального суждения, увеличение производительности ИИ не обязательно в той же пропорции увеличивает производительность всей системы. При этом пилот всё равно может быть очень ценным: например, проверять результат значительно быстрее, чем создавать его с нуля.

Поэтому соответствие ИИ рабочему процессу для меня не заканчивается вопросом «умеет ли модель выполнять эту задачу». Успешный пилот уже дал на него ответ.

Следующий вопрос: как определяется хороший результат и какая человеческая работа остаётся необходимой, чтобы его получить?

Это относится уже не только к модели. Это свойство всей связки: задачи, данных, критерия результата, человека и способа проверки.