Векторные базы данных: синдром блестящего предмета и дело о пропавшем единороге

Добро пожаловать в 2024 год, где, если вы не находитесь на волне генеративного ИИ, вы с таким же успехом можете застрять в 2022 году – практически древней истории на временной шкале ИИ. В настоящее время у каждой организации есть дорожная карта искусственного интеллекта, от подушек с искусственным интеллектом до зубных щеток с искусственным интеллектом, и если вы до сих пор в спешке не составили план, позвольте мне предложить вам трехэтапную дорожную карту.

Шаг 1. Соберите команду, окончившую курс Эндрю Нга, потому что ничто так не говорит о передовых возможностях, как сертификат об окончании.

Шаг 2. Получите ключи API от OpenAI. Нет, вы не можете позвонить в ChatGPT, это не проблема.

Шаг 3: База данных векторов, встраивания, техническое волшебство!

Теперь давайте начнем представление: сбросьте все данные в векторную базу данных, добавьте немного RAG-архитектуры, добавьте немного оперативного проектирования и вуаля! Волна поколения ИИ официально пришла в вашу компанию. А теперь расслабьтесь, расслабьтесь и наслаждайтесь напряженным ожиданием волшебства. Жду, жду… все еще жду. Ах, сладкое ожидание величия поколения ИИ!

В хаотичном стремлении внедрить поколение искусственного интеллекта и его, казалось бы, простую архитектуру моделей большого языка (LLM), сбой возникает, когда организации забывают о вариантах использования и начинают гоняться за технологиями. Когда ИИ — ваш молот, каждая проблема кажется разрешимой.

И хотя LLM и векторные базы данных, похоже, находятся в тренде (Тейлор Свифт более моден), идея векторных представлений, имеющих решающее значение в современной обработке естественного языка, имеет глубокие корни.

Словесные ассоциации: оглядываясь назад на вопрос «Кому нужен миллион долларов?»

Книга Джорджа Миллера Язык и общение, опубликованная в 1951 году и основанная на его более ранних работах, расширяет концепцию семантики распределения. Миллер предположил, что слова, встречающиеся в схожих контекстах, вероятно, имеют схожие значения, что заложило основу для векторных представлений.

Далее он продемонстрировал, что ассоциации между словами имеют сильные стороны, заявив: «На более молекулярном уровне сила «я» сильно варьируется от момента к моменту. Это очень невероятный ответ на вопрос: «Кто был первым королем Англии?» и очень вероятный ответ на вопрос: «Кому нужен миллион долларов?»». Хотя собака может вызвать ассоциативную реакцию на «животное», ассоциация «животное» с «собакой» слаба, как заключил Миллер: «Ассоциация, как вектор имеет как величину, так и направление».

Словесные ассоциации имеют еще более древнюю историю, как можно видеть в исследовании, проведенном Кентом и Розаноффом, в котором участников спрашивали о «первом слове, которое приходит вам в голову, кроме слова-стимула».

Работа Томаса К. Ландауэра «Решение проблемы Платона: теория латентно-семантического анализа приобретения, индукции и представления знаний», опубликованная в 1997 году, углубляется в детали векторного представления концепций. Скрытый семантический анализ (LSA), предложенный Ландауэром, использует математические методы, такие как разложение по сингулярным значениям, для создания векторных пространств, в которых слова со схожим значением расположены близко друг к другу. Это облегчает эффективное вычисление семантической связи, способствуя решению таких задач, как поиск информации и категоризация документов.

В 2003 году Йошуа Бенджио, Режан Дюшарм и Паскаль Винсент опубликовали «Нейронно-вероятностную языковую модель», представив модель нейронной сети, способную изучать встраивание слов. Эта статья ознаменовала заметный сдвиг в сторону подходов к представлению слов на основе нейронных сетей и заложила основу для word2vec, GloVe, ELMO, BERT и текущего набора моделей встраивания.

Векторные представления текста не являются чем-то новым и постоянно развиваются, но когда начнется показ векторной базы данных?

Когда начнется шоу Vector DB?

Пространство Vector DB становится переполненным, и каждый поставщик стремится выделиться среди множества функций. Производительность, масштабируемость, простота использования и встроенные интеграции — это лишь некоторые из факторов, определяющих их дифференциацию. Однако суть заключается в актуальности: получить правильный результат за несколько секунд или даже минут всегда лучше, чем молниеносно получить неправильный ответ.

Углубляясь в тонкости строгого векторного поиска (никогда это не является хорошей идеей, см. ниже), стержнем является приблизительный ближайший сосед (ИНС). Векторные БД предоставляют множество ИНС, каждая из которых имеет свою особенность:

• Подходы на основе хеширования (локальное чувствительное хеширование, спектральное хеширование, глубокое хеширование и другие);
• Древовидные подходы (Annoy, дерево K-средних);
• Подходы, основанные на графах (навигационный малый мир, иерархический навигационный малый мир (HNSW), квантование произведения и его варианты).

Поскольку термины и детали становятся нечеткими, кажущаяся простой архитектура LLM больше не кажется простой. Тем не менее, если бы выбор состоял в том, чтобы генерировать внедрения ваших данных с использованием API OpenAI и извлекать их с использованием тех же ИНС, таких как HSNW, не была бы релевантность (или нерелевантность) такой же?

«Можете ли вы починить мой компьютер?» Нет, но я могу вам сказать, что бананы — это ягоды, а клубника — нет.

Давайте углубимся в то, как кто-то может использовать систему и действительно ли преобразование данных в векторы имеет смысл. Возьмем следующий сценарий: пользователь вводит простой запрос, например «Ошибка 221», с намерением найти руководства, которые могут помочь в разрешении проблемы. Мы делаем обычное дело — преобразуем запрос в его встраивание, извлекаем его с помощью варианта ИНС и оцениваем по косинусному сходству. Стандартные вещи, да? Изюминка: результаты в конечном итоге дают документу об ошибке 222 более высокий балл, чем документу об ошибке 221.

Да, это все равно, что сказать: «Найди ошибку 221», а система отвечает: «Вот кое-что об ошибке 222; надеюсь, это поможет!» Это не совсем то, на что подписался пользователь. Итак, давайте не будем просто нырять с головой в мир векторов, не выясняя, правильный ли это шаг.

Помимо шумихи, в чем дело?

А что вообще с векторными базами данных? Все они посвящены поиску информации, но давайте будем честными: в этом нет ничего нового, хотя может показаться, что это так, несмотря на всю шумиху вокруг этого. У нас есть базы данных SQL, базы данных NoSQL, приложения полнотекстового поиска и векторные библиотеки, которые уже решают эту задачу. Конечно, векторные базы данных предлагают семантический поиск, и это здорово, но базы данных SQL, такие как Singlestore и Postgres (с расширением pgvector), также могут обрабатывать семантический поиск, обеспечивая при этом стандартные функции БД, такие как ACID. Приложения полнотекстового поиска, такие как Apache Solr, Elasticsearch и OpenSearch, также расширяют сферу векторного поиска, наряду с поисковыми продуктами, такими как Coveo, и предоставляют некоторые серьезные возможности обработки текста для гибридного поиска.

Но вот в чем особенность векторных баз данных: они как бы застряли посередине. Они не могут полностью заменить традиционные базы данных и все еще догоняют их с точки зрения поддержки функций обработки текста, необходимых для комплексной функциональности поиска. Милвус считает, что гибридный поиск — это просто фильтрация атрибутов с использованием логических выражений!

«Если технологии не являются вашим отличительным признаком, выбирайте хайп».

Гибридный поиск Pinecone имеет как предупреждение, так и ограничения, и, хотя некоторые могут утверждать, что он опередил свое время, раннее начало вечеринки не имеет большого значения, если торжествам придется ждать революции OpenAI пару лет спустя.

Это было не так уж и рано — Weaviate, Vespa и Mivlus уже предлагали свои векторные БД, а Elasticsearch, OpenSearch и Solr были готовы примерно в то же время. Если технологии не являются вашим отличительным признаком, выбирайте рекламу. Финансирование Pinecone серии B в размере 100 миллионов долларов возглавил Андриссен Горовиц, который во многих отношениях живет по сценарию, созданному для времен технологического бума. И несмотря на всю шумиху вокруг революции ИИ и поколения ИИ, корпоративная вечеринка поколения ИИ до сих пор не началась. Время покажет, окажется ли «Сосновая шишка» пропавшим единорогом, но отличить ее от других баз данных векторов будет все сложнее.

Синдром блестящего предмета

Поиск предприятия сложен. Редко решение заключается в простом сбросе данных в векторное хранилище и ожидании чудес. От разделения PDF-файлов до нужного размера до настройки правильных средств управления доступом — все требует тщательного планирования и исполнения, чтобы обеспечить оптимальную производительность и удобство использования. Если вариант использования вашей организации вращается вокруг поиска ограниченного количества документов, масштабируемость может не быть насущной проблемой. Аналогично, если ваш вариант использования в значительной степени ориентирован на поиск по ключевым словам, как показано на рисунке 3, погружение в векторную реализацию может иметь неприятные последствия.

В конечном счете, конечного пользователя не волнуют тонкости векторного поиска, поиска по ключевым словам, поиска по правилам или даже поиска «позвонить другу». Для пользователя важнее всего получить правильный ответ. Редко это происходит из-за того, что мы полагаемся исключительно на одну методологию. Поймите свой вариант использования и проверьте свои тестовые сценарии… и… не поддавайтесь соблазну блестящих объектов только потому, что они популярны.

Амит Верма — руководитель лабораторий искусственного интеллекта и инженеров, а также один из основателей Neuron7.