Koç 大学、Hacettepe 大学、Yıldız Technical University 和 Robert College 的研究人员推出了“Hippocrates”，这是一个专为 LLMs 医疗保健应用量身定制的开源框架。与依赖专有数据的先前模型不同，希波克拉底授予对其广泛资源的完全访问权限，从而促进医疗人工智能研究领域的更大创新和协作。该框架的突出之处在于将持续的预训练和强化学习与人类专家的反馈相结合，增强了模型在医疗环境中的实用性。
希波克拉底框架采用了一种系统方法，该方法从对综合医学文本语料库的持续预训练开始。然后使用专门的数据集（例如 MedQA 和 PMC-Patients 数据库）对这些模型（包括 Hippo 系列 7B 参数模型）进行微调。此过程利用指令调整和强化学习技术，使模型输出与专家的医学见解保持一致。稳健的评估采用了 EleutherAI 评估框架，确保模型在各种医疗基准上进行测试，以验证其有效性和可靠性。
将大型语言模型 (LLMs) 集成到医疗保健中有望改变医疗诊断、研究和患者护理。然而，医学LLMs的发展面临着复杂的培训要求、严格的评估要求以及限制学术探索的专有模型的主导地位等障碍。透明、全面地访问LLM资源对于推进该领域、促进可重复性和鼓励医疗保健人工智能创新至关重要。
推出希波克拉底，一个专门为医疗领域开发的开源LLM框架。与之前的努力形成鲜明对比的是，它提供了对其训练数据集、代码库、检查点和评估协议的不受限制的访问。这种开放方法旨在促进协作研究，使社区能够在透明的生态系统中建立、完善和严格评估医学LLMs。
此外，还推出了 Hippo，这是一个专为医疗领域量身定制的 7B 模型系列，通过持续的预训练、指令调整以及来自人类和 AI 反馈的强化学习，对 Mistral 和 LLaMA2 进行了微调。我们的模型大幅优于现有的开放医疗LLMs模型，甚至超过了70B参数的模型。
通过希波克拉底，渴望释放 LLMs 的全部潜力，不仅可以推进医学知识和患者护理，还可以使人工智能研究在医疗保健领域的好处民主化，使其在全球范围内可用。
如果想详细了解，可以点开视频下方的链接。
谢谢观看本视频。要是喜欢，请订阅、点赞。谢谢
Paper：https://arxiv.org/abs/2404.16621
留言
發佈留言