Исполнительный директор Citi: Генеративный искусственный интеллект меняет банковское дело, но рискованно для поддержки клиентов

Генеративный искусственный интеллект вызвал глубокий и позитивный сдвиг внутри Citi в сторону принятия решений на основе данных, но на данный момент тройка крупнейших банков страны решила отказаться от внешнего чат-бота, поскольку риски все еще слишком высоки.

Эти замечания Промити Датты, руководителя отдела аналитических технологий и инноваций, прозвучали во время выступления, которое она дала во время тура VB AI Impact Tour в Нью-Йорке в пятницу.

«Когда я присоединился к Citi четыре с половиной года назад, наука о данных или аналитика, прежде чем я даже говорил об искусственном интеллекте, часто были второстепенной мыслью. Раньше мы думали: «Мы будем использовать анализ, чтобы доказать точку зрения, которую бизнес уже имел в виду», — сказала она во время разговора, который я модерировал. «Появление поколения ИИ стало для нас большим сдвигом парадигмы», — сказала она. «Это фактически поставило данные и аналитику на передний план всего. Внезапно все захотели решить все с помощью Gen AI. «

«Три ведра» генеративных приложений ИИ от Citi

Она сказала, что это создало веселую атмосферу, в которой сотрудники организации начали предлагать проекты в области искусственного интеллекта. Технологические лидеры банка осознали, что не все нужно решать с помощью искусственного интеллекта, «но мы не сказали «нет», мы фактически позволили этому случиться. Мы могли бы, по крайней мере, начать обсуждать, какую пользу им могут дать данные», — сказал Датта. Она приветствовала возникновение культурного интереса к данным. (Полные ее комментарии смотрите в видео ниже.)

Банк начал сортировать приоритеты проектов генеративного искусственного интеллекта в соответствии с «значимыми результатами, которые могут повысить временную ценность, и тем, где к ним прилагается уверенность».

Желательные проекты делятся на три основные категории. Первой была «помощь агенту», когда большие языковые модели (LLM) могут предоставлять агентам колл-центра обобщенные заметки о том, что Citi знает о клиентах, или более легко записывать заметки во время разговора и находить информацию для агента, чтобы они могли легче реагировать на потребности клиентов. По ее словам, это не работа с клиентом, а предоставление ему информации.

Во-вторых, LLM могут автоматизировать ручные задачи, такие как чтение обширных документов по соответствию таким вещам, как риски и контроль, путем обобщения текстов и помощи сотрудникам в поиске документов, которые они искали.

Наконец, Citi внутри компании создал внутреннюю поисковую систему, которая централизовала данные в одном месте, чтобы аналитики и другие сотрудники Citi могли легче получать информацию на основе данных. По ее словам, сейчас банк интегрирует в свой продукт генеративный искусственный интеллект, чтобы сотрудники могли использовать естественный язык для проведения анализа на лету. По ее словам, инструмент будет доступен тысячам сотрудников позднее в этом году.

Внешние LLM по-прежнему слишком рискованны

Однако, когда дело доходит до внешнего использования генеративного искусственного интеллекта (например, для взаимодействия с клиентами через чат-бот поддержки), банк решил, что это все еще слишком рискованно для прайм-тайма, сказала она.

За последний год много говорилось о галлюцинациях выпускников LLM — неотъемлемом свойстве генеративного ИИ, которое может быть полезным в определенных случаях использования, когда, скажем, писатели стремятся к творчеству, но может оказаться проблематичным, когда целью является точность: «Все может пойти не так очень быстро, и нам еще предстоит многому научиться», — сказал Датта.

«В отрасли, где каждое взаимодействие с клиентом действительно имеет значение, и все, что мы делаем, направлено на укрепление доверия с клиентами, мы не можем допустить, чтобы что-то пошло не так при любом взаимодействии», — сказала она.

Она сказала, что в некоторых отраслях LLM приемлемы для внешнего общения с клиентами, например, при совершении покупок, когда LLM может предложить неправильную пару обуви. По ее словам, покупатель вряд ли сильно расстроится из-за этого. «Но если мы скажем вам получить кредитный продукт, который вам не обязательно нужен или который вам не нужен, вы потеряете немного интереса к нам, потому что это похоже на: «О, мой банк действительно не понимает, кто я такой».

По ее словам, банк действительно использует элементы диалогового искусственного интеллекта, которые стали стандартом до появления генеративного искусственного интеллекта в конце 2022 года, включая заранее заданные ответы обработки естественного языка (НЛП).

Citi изучает возможности LLM

Она сказала, что банк не исключает возможности использования LLM в будущем, но ему необходимо «работать над этим». Банку необходимо убедиться, что в процессе всегда присутствует человек, чтобы банк узнал, чего не может сделать технология, и «разветвлялся оттуда по мере развития технологии». Она отметила, что банки также строго регулируются и должны пройти множество испытаний и проверок, прежде чем они смогут внедрить новые технологии.

Однако этот подход контрастирует с банком Wells Fargo, который использует генеративный искусственный интеллект в своем виртуальном помощнике Fargo, который дает ответы на повседневные банковские вопросы клиентов на их смартфонах, используя голос или текст. Банк заявляет, что Fargo находится на пути к достижению показателя в 100 миллионов взаимодействий в год, заявил ИТ-директор банка Чинтан Мехта во время другого выступления, которое я модерировал в январе. По его словам, Fargo использует в своей работе несколько программ LLM, выполняя разные задачи. Wells Fargo также интегрирует LLM в свой продукт Livesync, который предоставляет клиентам советы по постановке целей и планированию.

Еще один способ, с помощью которого генеративный ИИ трансформирует банк, — заставить его пересмотреть, где использовать облачные ресурсы, а не оставаться локальными. Для этого банк изучает возможность использования моделей GPT OpenAI через облачные сервисы Azure, хотя в прошлом банк в значительной степени избегал облачных инструментов, предпочитая хранить свою инфраструктуру локально, сказал Датта. По ее словам, банк также изучает модели с открытым исходным кодом, такие как Llama и другие, которые позволяют банку создавать собственные модели для использования на своих локальных графических процессорах.

LLM способствуют внутренней трансформации в Citi

По словам Датты, внутренняя рабочая группа банка рассматривает все проекты генеративного искусственного интеллекта, и этот процесс доходит до Джейн Фрейзер, исполнительного директора банка. Фрейзер и руководство принимают активное участие, поскольку для реализации этих проектов требуются финансовые и другие ресурсы. По словам Датты, целевая группа следит за тем, чтобы любой проект выполнялся ответственно и чтобы клиенты были в безопасности при любом использовании генеративного искусственного интеллекта. Рабочая группа задает такие вопросы: «Что это значит для управления рисками нашей модели, что это значит для безопасности наших данных, что это значит для того, как другие получают доступ к нашим данным?

Дутта сказал, что генеративный искусственный интеллект создал уникальную среду, в которой царит энтузиазм как на верхних, так и на нижних ступенях банка, вплоть до того, что в банке оказывается слишком много рук, и, возможно, возникает необходимость обуздать этот энтузиазм.

Отвечая на выступление Датты, Сара Берд, глобальный руководитель отдела ответственного проектирования искусственного интеллекта в Microsoft, сказала, что тщательный подход Citi к генеративному искусственному интеллекту отражает передовой опыт.

Microsoft работает над исправлением ошибок LLM

Она сказала, что ведется большая работа по исправлению случаев, когда студенты магистратуры все еще могут совершать ошибки, даже после того, как они получили источник истины. Например, многие приложения создаются с использованием расширенной генерации поиска (RAG), где LLM могут запрашивать хранилище данных, чтобы получить правильную информацию для ответов на вопросы в режиме реального времени, но этот процесс все еще не идеален.

«Это может добавить дополнительную информацию, которой там не должно было быть», — сказала Берд и признала, что во многих приложениях это неприемлемо.

«Майкрософт ищет способы устранить подобные ошибки», — сказал Бёрд во время выступления, которое последовало за выступлением Датты и которое я также модерировал. «В этой области мы на самом деле наблюдаем большой прогресс, и, вы знаете, еще многое предстоит сделать, но есть немало методов, которые могут значительно повысить эффективность этой работы». Она сказала, что Microsoft тратит много времени на тестирование и поиск других способов обнаружения ошибок заземления. Microsoft наблюдает «действительно быстрый прогресс с точки зрения того, что возможно, и я думаю, что в следующем году мы сможем увидеть гораздо больше».

Полное раскрытие информации: Microsoft спонсировала это мероприятие VentureBeat AI Impact Tour в Нью-Йорке, но докладчики из Citi и NewYork-Presbyterian были выбраны VentureBeat независимо. Узнайте о наших следующих остановках в рамках AI Impact Tour, а также о том, как подать заявку на приглашение на следующие мероприятия в Бостоне 27 марта и Атланте 10 апреля.