上海人工智能实验室开源了世界上第一个医疗基础模型群，“医疗通用大模型时代”即将到来
今天，记者从上海人工智能实验室（上海人工智能实验室）获悉，由实验室牵头，联合国内外顶尖科研机构、大学和医院联合开发的世界上第一个医疗多模态基础模型组“OpenMEDLab上海医学院”发布。该模型整合了世界顶级人工智能研发实力、大量医学数据和医学专家知识，突破了限制医疗场景使用人工智能的长尾问题。
据悉，“OpenMEDLab浦医”大模型已与全国多家龙头三甲医院合作，并将在不久的将来逐步开源。该模型将促进基于医疗基础模型的跨领域、跨疾病、跨模态科研突破，帮助解决医疗领域的长尾问题，促进大型医疗模型产业的实施。
联合顶尖机构，共建多模态医疗大模型
上海人工智能实验室作为领导单位，与广州实验室、智江实验室等顶尖科研机构、上海交通大学、复旦大学、电子科技大学、华东理工大学、北京邮电大学、罗格斯大学、英属哥伦比亚大学、香港中文大学等多个国内外组织合作，参与开源“OpenMEDLab浦医”基础模型群，以及上海交通大学医学院附属瑞金医院、上海交通大学医学院附属新华医院、四川大学华西医院、郑州大学第一附属医院等医疗机构。
“OpenMEDLabp医学”整合了世界顶尖的人工智能研发能力、大量的医学数据和医学专家知识。首批发布的基本模型组包括基于医学图像、医学文本、生物信息、蛋白质工程等10多种数据模式的基本模型。
在语言模型方面，“OpenMEDLab浦医”开源于上海人工智能实验室与上海交通大学、华东理工大学合作开发的大型中文医学语言模型。基于大量的医学知识和真实的医患互动对话数据，它可以提供多场景、多轮对话能力，如咨询、咨询、健康咨询和辅助决策。联合团队系统地比较和评估了多种语言模型的医疗能力，并公布了评估代码和数据。
一系列图像开源模型组，可针对放射图像、病理图像、内镜、超声等不同图像模式，实现高精度检测、分割、分类等前沿研究和临床任务，有效解决基于医学图像的临床任务，模型具有轻量级的特点，可满足创新研究的临床部署和方便应用。
在生物医学方面，“OpenMEDLab浦医学”也有很大的潜力。例如，由上海人工智能实验室和上海交通大学联合开发的大型蛋白质序列模型可以帮助设计和合成高稳定性和高生物活性蛋白质，通过整合生物医学专业知识，解决蛋白质新药研发过程中常见的耗时和高成本问题。
为了方便开发人员使用，“OpenMEDLab浦医”开源平台不仅提供基本模型下载，还提供下游任务应用示例、测试数据、相应标记和评估指标，帮助开发人员在整个过程中有效地使用基本模型进行研发。此外，为了促进产学研合作，深化医学图像分析基础模型的可行性探索，上海人工智能实验室启动《〈Medical Image Analysis〉基本模型特刊和NeurIPS 通过2023年医学图像分析基础模型应用挑战赛，向全球人工智能和医学领域的研究人员和机构发布“英雄帖” “一期一赛”，进一步推进医学基础模型的研究与应用。
突破小样本，弱标注瓶颈，解决医疗长尾问题
近年来，计算机视觉中超大参数深度学习基模型（CV）、自然语言处理（NLP）在其他领域取得突破性进展，可以基于大型模型的超强泛化能力应用于许多下游任务的分析。然而，医学数据在数据模式、成像模式、图像特征等方面存在着各种各样的差异，这使得通用大型模型很难在医学图像分析中实现令人满意的性能。在高度关注数据隐私的医疗机构中，实施部署也存在很大困难。目前，对特定任务进行独立模型培训仍然是该领域的主流解决方案。但是，医疗下游长尾任务的数据样本较少，难以标注，这也限制了人工智能在更多医疗场景中的应用。
如何将CV、NLP通用大型模型“供我使用”，并开发了更适合医疗场景的基本模型。上海人工智能实验室推出了“OpenMEDLab浦医生”，这是一个多层次、多场景、高精度、可落地的基本医疗模型群。第一，基于CV、上海AI实验室针对不同的医疗数据模式开发了一系列基本模型，如CT，这些模型研究了医疗图像和文本的一般特征。、MRI、为了充分学习和利用不同数据模态的独特特征和模式，超声、内镜、病理、医学文本等。
“OpenMEDLab浦医”基于上述多层次、多场景的基本模型群，可以有效地将之前在医学数据培训中学到的特点应用到大量的医疗下游问题中，从而实现对不同任务的小数据、弱标记和高效培训。同时，考虑到性能与着陆的平衡，模型群在医疗场景中的部署和应用更加方便，使基本模型能够应用于更多的医疗长尾问题。
例如，上海人工智能实验室与四川大学华西医院和上海交通大学合作，应用预培训获得的视觉和语言模型，使用小样本模型激活算法，检测和分类医学图像中的各种病变，并获得比传统迁移学习更准确的实验结果。这意味着未来研究人员将能够更好地处理小数据甚至零数据样本的医疗生物场景。
结果落地，开启了“医学通用大模型时代”
医疗多模态基础模型群的出现，给大模型赋能医疗场景带来了更多的可能性。目前，“OpenMEDLab浦医药”研发团队已与全国多家龙头三甲医院和医药企业合作，全面赋能医院诊疗和药物研发。
在上海交通大学医学院附属瑞金医院，“医学数字人”已应用于全身多部位、多器官、多模态图像的智能辅助诊断和治疗，覆盖10多个临床方向，使患者全面诊断和治疗；在四川大学华西医院，双方合作构建基于自动提示词微调的大型视觉语言模型，显著提高了小样本下医学图像的检测性能，为视觉语言模型在医学图像领域的应用提供了范式；在郑州大学第一附属医院，双方正在合作开发医学语言模型，通过在线服务，整合大量药学知识和专家经验，为患者提供更方便、更全面的药物咨询。在生物制药领域，我们与多家知名制药企业合作，利用基本模型赋能蛋白质工程，帮助药品研发。
编辑：沈丘莎
图片：上海AI实验室提供
责任编辑：任权
