[ad_1]
В современной медицине доступ к актуальной информации может играть решающую роль. Именно это и позволяет Meditron — комплекс открытых мульти модальных основных моделей, созданный для медицинской сферы на базе Meta Llama 2. Meditron предназначен для помощи в клиническом принятии решений и диагностировании, обучен на тщательно отобранных высококачественных медицинских данных с постоянным вкладом клиницистов и экспертов в области гуманитарного ответа.
Исследователи из Школы компьютерных и коммуникационных наук EPFL и Медицинской школы Йель совместно с гуманитарными организациями, такими как Международный комитет Красного Креста, занимались разработкой этого проекта. За первые месяцы после выпуска Meditron был загружен более 30 000 раз, заполнив значительный пробел в инновациях для медицинских учреждений с ограниченными ресурсами.
Следуя за недавним выпуском Meta Llama 3, команда в течение 24 часов адаптировала новую модель 8B, создав Llama-3[8B]-MeditronV1.0, который превосходит все существующие открытые модели в своем классе по стандартным бенчмаркам, таким как MedQA и MedMCQA.
“Основные модели стали современными интеллектуальными и культурными активами”, — говорит профессор Йельской школы Мэри-Энн Хартли, соруководитель проекта. “Применяемые в медицинской сфере, они могут предоставлять жизненно важные советы и рекомендации. Особенно это важно для наименее представленных и нуждающихся в поддержке регионов.”
LLM, такие как Llama, способны упростить сложную информацию до доступного консультативного интерфейса. Meditron адаптирован так, чтобы предоставляемая информация лучше соответствовала доказательной медицине, контекстуально осведомленным рекомендациям и профессиональным стандартам. Набор инструментов Meditron может служить важной потребностью в различных условиях, включая чрезвычайные ситуации, требующие быстрого и точного медицинского реагирования, а также помогать медицинским работникам в диагностике и лечении пациентов в недостаточно обслуживаемых районах.
“Наша надежда заключается в том, что полностью открытый и свободный доступ от данных до весов с четкой документацией по началу работы сможет стимулировать инновации в условиях ограниченных ресурсов, обеспечивая равный доступ к медицинским знаниям”, — говорит Хартли.
Когда финансирование становится проблемой, начинать следует с малого, сосредоточив внимание на качестве. Экономия затрат, начало экспериментов на меньшей модели Llama 2 7B для определения оптимальных смесей предварительных данных и параметров для масштабирования до 70B — такой консервативный подход также является причиной выпуска моделей Meditron 7B и 70B. Пока Meditron 7B менее производителен, он всё же очень полезен для моделирования экспериментального масштабирования, отмечает Хартли.
Этот акцент на качестве перед количеством также означал, что команда большую часть времени уделяла тщательной курации медицинских текстовых документов, представляющих доказательные руководства в условиях с высокими и низкими ресурсами. Продолженное предварительное обучение, которое обновляет все параметры модели, а не только сосредоточено на подстройке, минимизировало риск загрязнения и предвзятости из общего текстового корпуса, на котором была обучена Llama, говорит Хартли. Это также максимизировало сохранение медицинских знаний.
Поскольку продолженное предварительное обучение на многопроцессорных, многоузловых кластерах является очень технически сложной задачей, команда интегрировала архитектуру Llama в высокопроизводительный распределенный тренажер Megatron-LM. Узнав, что это проблема, с которой могут столкнуться многие другие, они также сделали доступной адаптированную версию Megatron.
Meditron уже доказал свою высокую производительность согласно ведущим бенчмаркам в области, таким как ответы на вопросы биомедицинских экзаменов, и команда надеется, что финансирующие органы оценят социальную и коммерческую ценность их академической открытой инициативы.
“Открытые технологии имеют проверенную временем историю стимулирования инноваций и, что критично, делают их доступными на равных условиях”, — говорит Хартли. “Мы постоянно слышим от исследователей в условиях ограниченных ресурсов о том, как Meditron облегчил их исследования”.
Источник: Artificialintelligence news
[ad_2]
Источник
