Эксклюзив: Metaplane заработал 13 миллионов долларов на обнаружение аномалий данных с помощью ИИ

Сегодня базирующийся в Бостоне стартап Metaplane, стремящийся улучшить и устранить проблемы с качеством данных для предприятий, объявил, что привлек $13,8 млн в рамках раунда финансирования А. Фирма венчурного капитала Felicis возглавила инвестиции при участии Khosla Ventures, Flybridge, Y Combinator, Stage 2 Capital, B37 и SNR.

Metaplane заявила, что планирует использовать этот раунд для дальнейшего развития своей платформы наблюдения за данными на базе искусственного интеллекта и стать «бесспорно самым мощным, настраиваемым и волшебным в настройке решением для доверия к данным».

Компания, основанная выпускником Массачусетского технологического института Кевином Ху, бывшим инженером HubSpot Питером Казинелли и бывшим разработчиком Appcues Гуру Махендраном, бросает вызов таким хорошо финансируемым игрокам, как Monte Carlo, Observe и Acceldata, в быстро развивающейся сфере наблюдения за данными. За последний год она увеличила свою клиентскую базу в три раза и уже работает с такими брендами, как Bose, Sigma, Klaviyo и ClickUp.

Мониторинг и маркировка проблем в стеке данных

Данные стали движущей силой современного бизнеса, позволяя командам не только анализировать исторические закономерности для принятия решений, но и прогнозировать критически важные для роста аспекты, например, план инвентаризации для конкретного события.

Всплеск приложений генеративного искусственного интеллекта также побудил компании объединить данные из разных источников и, надеюсь, повысить ценность.

Однако, учитывая этот резкий переход к усилиям, основанным на данных, командам стало трудно отслеживать всю имеющуюся у них информацию по вопросам качества.

Трубопроводы стали более сложными, и иногда приходится бороться с сотнями или тысячами источников.

Metaplane применяет к этой проблеме искусственный интеллект, который, по его словам, позволяет предприятиям активно отслеживать инциденты с данными на разных уровнях своей экосистемы данных.

«Мы интегрируемся с максимально возможным объемом стека данных, будь то инструменты приема, такие как Fivetran, облачные хранилища данных, такие как Snowflake и BigQuery, уровни преобразования и оркестровки, такие как dbt и Airflow, инструменты обратного ETL, такие как Census и Hightouch, и инструменты BI, такие как Sigma. , Tableau и Looker. Мы идем еще дальше, становясь единственным продуктом для наблюдения за данными, который интегрируется с транзакционными базами данных, такими как Postgres и MySQL, и выявляет проблемы в запросах на включение dbt в Github», — рассказал VentureBeat Ху, который основал компанию из проекта MIT в 2019 году.

Мониторинг качества данных с помощью машинного обучения

Как только платформа интегрируется со стеком данных, пользователь может настроить мониторы для часто используемых/обновляемых таблиц, чтобы следить за различными показателями качества данных, такими как актуальность, количество строк, уникальность и неопределенность. Весь процесс занимает около 15 минут, после чего продукт начинает работать с ИИ.

Как объяснил Ху, модель машинного обучения (ML) системы обучается на профиле данных, используя исторические метаданные, а затем начинает отмечать аномалии данных (даже изменения схемы) в течение дня или двух. Все это полностью автоматизировано: оповещения направляются непосредственно заинтересованным группам данных в предпочтительном пункте назначения для оповещений.

«Мы используем большинство исторических данных для обучения наших моделей, гарантируя, что мы сможем уловить сезонность и избежать повторяющихся предупреждений. Каждый бизнес уникален, и простое применение единой модели для каждого клиента приводит к большим неточностям. В отличие от других инструментов мониторинга, мы также упрощаем пользователям настройку моделей, чтобы игнорировать единичные случаи или изучать новые тенденции для учета сезонных закономерностей и факторов, специфичных для их отрасли. Клиенты идут с нами, потому что мы выявляем проблемы, которые другие не могут обнаружить, сводя при этом шум к минимуму», — пояснил Ху.

Примечательно, что помимо мониторинга таких показателей, как свежесть и объем данных, Metaplane также может глубже выявлять проблемы с данными, которые очень специфичны для предметной области, с помощью более детального контроля, включая мониторинг изменений в использовании данных и расходах на облачное хранилище. Кроме того, охват стека данных позволяет платформе создать полную картину происхождения данных на уровне столбцов от источника данных до места назначения и предоставить контекст для последующего воздействия проблем, а также первопричин вышестоящих.

Устранено 80 000 инцидентов, связанных с качеством данных

Хотя Metaplane не так сильно финансируется, как ее конкуренты Observe, Acceldata и Monte Carlo, компания неплохо справляется в области наблюдения за данными. В 2023 году ее ARR выросла в шесть раз, а клиентская база выросла в три раза и насчитывает более 100 предприятий, к которым присоединились такие известные имена, как Klaviyo, Bose, ClickUp, Sigma, Census, GoFundMe и Ramp.

По данным компании, по состоянию на январь 2024 года эти клиенты провели 500 миллионов проверок качества данных для более чем 40 миллионов активов данных и более 30 миллионов соединений с линиями передачи данных, обнаружив и устранив до 80 000 инцидентов.

«Мы считаем, что все компании должны иметь возможность доверять своим данным, поэтому мы даем возможность командам зарегистрироваться и использовать их бесплатно. В результате мы получили большую выгоду от органического роста, и больше пользователей использовали Metaplane, чем любой другой инструмент наблюдения за данными», — подчеркнул основатель.

В дополнение к самообслуживающемуся подходу к внедрению, Ху заявил, что способность платформы обнаруживать важные проблемы, сводя при этом к минимуму шум и предоставляя полное представление о стеке данных, делает ее лучше, чем все другие существующие инструменты наблюдения.

«Контролю ли я все, что может внести ошибки в данные? Сколько проблем связано с транзакционными базами данных? Скольких можно остановить, предотвратив изменение кода? Единственный способ ответить на эти вопросы — это глубоко интегрировать весь стек данных во всех местах, где могут возникнуть проблемы с данными или повлиять на них. Недавно мы объявили о нашей интеграции с Census и Hightouch, двумя ведущими платформами обратного ETL, и скоро у нас будет больше объявлений», — добавил Ху.

В дальнейшем компания планирует использовать капитал, чтобы сосредоточиться на исследованиях и разработках и дальнейшем развитии своей платформы наблюдения за данными для корпоративных команд, желающих с уверенностью использовать свои информационные активы. Частично это будет направлено на автоматизацию большей части архитектуры мониторинга, а также на введение поддержки наблюдения за еще большим количеством показателей, источников и связей между источниками.

«Наше видение заключается в том, что наша платформа будет учитывать уникальные требования каждого клиента и рекомендовать идеальную архитектуру мониторинга и оповещения, основанную на их меняющихся с течением времени потребностях. Мы объединим это с широким расширением того, что мы отслеживаем, добавив как более глубокие метрики, так и более широкий набор показателей, чтобы наблюдать за всем в стеке данных, чтобы у наших клиентов всегда был необходимый контекст для поиска и устранения проблем с качеством данных», — отметил Ху. .