Новости продукта7 мин чтения

ИИ-агенты на компьютере: работа в программах и браузере

Как ИИ-агенты работают на компьютере: видят экран, кликают и печатают в программах и браузере, в том числе без API. Выделенная Windows-среда и контроль.

Редакция SUPER II
Опубликовано Обновлено
Telegram ВКонтакте WhatsApp
ИИ-агенты на компьютере: работа в программах и браузере
Содержание статьи

Большая часть офисной рутины живёт не в облачных сервисах с удобным API, а в обычных программах: 1С, Excel, кабинетах поставщиков, банк-клиенте, госпорталах. Раньше автоматизировать их было сложно и дорого. ИИ-агенты на компьютере решают задачу иначе: они работают в интерфейсе, как человек, видят экран, кликают и печатают. Разберём, как это устроено, что такой агент умеет, где его ограничения и как за ним наблюдать.

Что значит «ИИ работает на компьютере»#

Есть два способа подключить ИИ к рабочим системам.

Через API. Программа обменивается данными с другой программой напрямую. Это быстро и надёжно, но только если у сервиса есть API, вы за него платите и кто-то написал интеграцию.

Через интерфейс. ИИ-агент получает компьютер с Windows и пользуется им как сотрудник: открывает программу, находит нужную кнопку, вводит данные, проверяет результат. API не нужен. Если человек может сделать это мышью и клавиатурой, агент тоже может.

Второй способ и называют «ИИ-агентом на компьютере». В «Супер Интеллект» за это отвечает роль SUPER II - Оператор ПК: универсальный сотрудник, который открывает любую программу или сайт и делает в них работу по инструкции.

Как агент видит экран и действует#

Работа агента - это цикл из четырёх шагов, который повторяется много раз за задачу.

  1. Посмотреть. Агент получает снимок экрана и распознаёт, что на нём: окна, кнопки, поля, таблицы, текст.
  2. Решить. Сопоставляет увиденное с задачей: где он сейчас, какой следующий шаг, нет ли ошибки.
  3. Сделать. Двигает курсор и кликает, печатает текст, нажимает сочетания клавиш, прокручивает, перетаскивает файлы.
  4. Проверить. Снова смотрит на экран: открылось ли нужное окно, сохранился ли документ, не появилось ли сообщение об ошибке.

Шаг проверки отличает агента от старых макросов, которые кликали по координатам вслепую. Если окно открылось не там, вылезло уведомление или сайт загружается дольше обычного, агент это видит и подстраивается.

Где это полезнее всего: программы без API#

ПрограммаЧто делает агентГде нужна осторожность
1С (любые конфигурации)Вводит поступления и реализации, формирует отчёты, сверяет остаткиПроведение и удаление документов, закрытие периода
Excel и WordСводит таблицы, чистит данные, заполняет шаблоны документовПерезапись исходных файлов: лучше работать с копией
Кабинеты поставщиков и перевозчиковВыгружает прайсы, оформляет заявки, отслеживает статусыПодтверждение заказов и оплат
Госпорталы и кабинеты ЭДОПроверяет входящие, скачивает документы, готовит черновикиПодписание и отправка: только человек
Банк-клиентВыгружает выписки, готовит платёжки по шаблонуОтправка платежей: только после подтверждения
Старые учётные системыПереносит данные в новую систему или таблицуМедленные интерфейсы: заложить время

Отдельно стоит сказать про браузер. Многие сервисы формально имеют API, но он платный, неполный или требует разработчика. Агент просто открывает сайт и работает в нём, как менеджер: заполняет формы, собирает данные со страниц, скачивает отчёты.

Выделенная Windows-среда: что это и зачем#

Агент не работает на вашем компьютере. У него своя выделенная Windows-среда на серверах платформы: рабочий стол, браузер, офисные программы, папки с файлами. Среда закреплена за вашей ИИ-командой: сотрудники команды работают в ней по очереди, а другие клиенты её не делят.

Что это даёт на практике:

  • Изоляция. Агент не видит ваших личных файлов и не мешает вам работать. Вы сидите за своим компьютером, он за своим.
  • Стабильность. Среда не выключается на ночь и не уходит в спящий режим, поэтому длинные задачи идут до конца.
  • Свои программы. В среду можно поставить нужный софт, например клиент 1С или программу поставщика. Сам агент программы без вашего разрешения не устанавливает.
  • Свои доступы. Логины и пароли берутся из зашифрованного Хранилища в момент входа. Подробнее об этом в статье о безопасности ИИ-агентов.

Если задача большая, её можно разложить по ролям внутри команды: так устроен рой ИИ-агентов. В одной подписке сотрудники работают в её среде по очереди. Чтобы работа шла одновременно, нужна ещё одна команда: поэтому цена считается за команду, сколько команд, столько сред.

Наблюдение в личном кабинете#

Агент, которого не видно, вызывает понятное беспокойство: а что он там делает? Поэтому в личном кабинете есть наблюдение за экраном.

  • Вы открываете задачу и видите экран агента: снимок обновляется каждые несколько секунд, видно, какая программа открыта и что он заполняет.
  • Если агент идёт не туда, задачу можно остановить и написать, что поправить.
  • После завершения остаётся журнал: какие программы открывались, что вводилось (без паролей), какие файлы созданы.

Первые запуски новой задачи полезно смотреть целиком. Это занимает столько же времени, сколько объяснить задачу новичку, а потом можно ограничиться журналом и выборочной проверкой результата.

Три сценария работы агента на компьютере#

Перенос заявок из почты в 1С#

Заказы приходят письмами в свободной форме, менеджер вручную набивает их в 1С. Агент делает то же самое: открывает почту, читает письмо, создаёт документ в 1С, сверяет итоговую сумму.

  1. Агент открывает рабочий ящик и находит новые письма с заказами.
  2. Ищет контрагента в 1С, при необходимости отмечает, что его нет.
  3. Создаёт заказ покупателя, заполняет позиции и количество.
  4. Сверяет сумму с письмом и сохраняет документ без проведения.
  5. Пишет в таблицу, какие заказы внесены, а какие требуют внимания.

Подробнее о работе с учётом в статье ИИ для бухгалтерии и 1С и на странице роли SUPER II - Оператор 1С.

Сводный отчёт из нескольких кабинетов#

Данные лежат в трёх-четырёх кабинетах, у каждого своя выгрузка. Агент заходит в каждый, скачивает отчёт, сводит в Excel и считает итоги.

Если основная работа с таблицами, посмотрите разбор как ИИ работает с Excel и Google Таблицами.

Заполнение форм на сайтах#

Регистрация на площадках, заявки перевозчикам, анкеты поставщиков: всё это формы, которые заполняются по одним и тем же данным. Агент берёт данные из таблицы или карточки компании и заполняет форму, а перед отправкой показывает вам.

Ограничения, о которых стоит знать#

Агент на компьютере - мощный инструмент, но не волшебный. Честно о том, где он слабее:

  • Скорость. Агент работает в темпе человека, а не программы. Там, где API перекладывает тысячу записей за секунды, агенту понадобится время. Зато не нужен разработчик.
  • Капчи и защита от роботов. Агент их не обходит и зовёт человека. Сайты с жёсткой защитой лучше обрабатывать через официальные выгрузки.
  • Двухфакторная аутентификация. Коды приходят ответственному сотруднику, и он подтверждает вход.
  • Изменения интерфейса. Если программа обновилась и кнопки переехали, агент обычно разбирается сам, но первые запуски после обновления стоит посмотреть.
  • Необратимые действия. Платежи, подписание, удаление: всё это на подтверждении у человека.
  • Неясная задача. Агент не угадывает. Если цель или входные данные непонятны, он спросит, и лучше ответить сразу подробно.

Как начать#

  1. Выберите одну повторяющуюся задачу за компьютером, которая занимает у сотрудника час-два в день.
  2. Опишите её по шагам, как новичку: какие программы, откуда данные, куда результат.
  3. Занесите доступы в Хранилище, заведите для агента отдельные учётки.
  4. Запустите на одном примере и посмотрите экран в личном кабинете.
  5. Поправьте инструкцию и масштабируйте на весь объём.

Выделенная Windows-среда есть у каждой платной ИИ-команды. На тарифе «SUPER II» одна команда стоит 24 000 ₽ в месяц, на тарифе «Несколько команд» от 5 команд 21 600 ₽ за каждую. Попробовать постановку задач можно бесплатно на «Старте», но без среды. Все условия на странице тарифов. Если основная рутина у вас в бухгалтерии и документах, начните с решения «Бухгалтерия и документы».

Частые вопросы

Нужно ли устанавливать что-то на мой компьютер?
Нет. ИИ-агент работает в выделенной Windows-среде на стороне платформы. Ваш компьютер он не трогает, а за его работой вы наблюдаете в личном кабинете из браузера.
Может ли ИИ работать в программе, у которой нет API?
Да. Агент видит экран и управляет мышью и клавиатурой, поэтому ему не нужен API: он работает в интерфейсе программы так же, как человек.
Чем агент на компьютере хуже интеграции через API?
Он медленнее и зависит от интерфейса: если программа сильно поменяла внешний вид, агенту нужно время, чтобы разобраться. Там, где есть надёжный API, интеграция обычно быстрее, а агент закрывает всё остальное.
Что агент делает, если упёрся в капчу или код из СМС?
Останавливается и просит человека. Капчи агент не обходит, а коды двухфакторной аутентификации приходят ответственному сотруднику.
На каком тарифе есть выделенная Windows-среда?
На всех платных тарифах, и у каждой ИИ-команды она своя. На тарифе «SUPER II» команда стоит 24 000 ₽ в месяц или 20 000 ₽ при оплате за год, на тарифе «Несколько команд» от 5 команд 21 600 ₽ за команду. На бесплатном «Старте» среды нет.
Поделиться: Telegram ВКонтакте WhatsApp

Новые статьи на почту

Сообщим, когда в блоге выйдут новые статьи. Без рекламы, отписаться можно в любой момент.

или читайте ленту: RSS

SUPER II - Оператор ПК
Готов к работе
Какой сотрудник это делает

SUPER II - Оператор ПК

Универсальный сотрудник: открывает любую программу и сайт и делает в них работу, как человек

  • Работа в любых программах Windows
  • Перенос данных между системами
  • Заполнение форм и кабинетов на сайтах
  • Выгрузки, отчёты и таблицы
WindowsExcelWordБраузер1СTelegram
Делает рутину в любых программах

Поставьте эту задачу ИИ-команде

Опишите задачу своими словами: команда разберёт её, покажет план и начнёт работу. Бесплатный тариф, без карты.