• 俞凯:面向通用科学智能的跨模态语言大模型
    来源:思必驰2024-07-22 15:57:00

    7月4日,2024世界人工智能大会暨人工智能全球治理高级别会议(简称“WAIC 2024”)在上海顺利举行。作为大会分论坛之一,由长三角国家技术创新中心主办的“2024 WAIC 长三角协同创新AI新质生产力发展论坛”同期举办,本次论坛邀请了国内外产学研用领域专家、学者和企业等代表,共同探讨人工智能在推动新质生产力发展中的作用及趋势。

    思必驰联合创始人、首席科学家俞凯受邀出席“2024 WAIC 长三角协同创新AI新质生产力发展论坛”,并带来《AI4S 新质生产力,面向通用科学智能的跨模态语言大模型》的主题演讲,为与会嘉宾分享面向通用科学智能的跨模态语言大模型ChemDFM,展示大模型在科学领域的应用潜力,探讨通用大模型推动科学研究的发展路径。

    俞凯:面向通用科学智能的跨模态语言大模型

    面向通用科学智能的跨模态语言大模型

    近年来,随着大模型浪潮的兴起,面向各个场景的大模型应用纷纷涌现,为行业带来效率的提升。在科学领域,以大模型为代表的人工智能技术正逐渐赋能科学研究。活动上,俞凯向与会嘉宾介绍了化学领域大模型的优势:“化学领域大模型相较于通用大模型,具有更丰富的化学知识、能理解多种模态更多样的化学信息,更强大的解决化学问题的能力。相较于传统小模型,可以使用自然语言作为知识与对话的桥梁,实现不限于内容与范围的知识问答,具备错误反思与纠正,方案细化与解释等能力。”

    随后,俞凯分享了思必驰大模型在化学领域的最新研究成果。2024年3月12日,思必驰-上海交大智能人机交互联合实验室、苏州实验室共同发布了首个针对化学科学的百亿级专业化大模型ChemDFM。ChemDFM模型基于经典开源大模型LLaMa,引入了海量的化学基础与前沿知识,充分学习并掌握化学科学的专有语言与表达方式,最终以130亿的参数量在大多数化学相关的能力上超越了公认最强大的模型GPT-4。此外,在进一步的评测中ChemDFM显示出了其他类似模型几乎不具备的结合内部知识理解和分析陌生分子的能力,实现了在面对陌生分子或者陌生反应时,结合相关的化学知识进行推理与回答。

    近期,来自浙江大学 NLP 实验室与腾讯 AI Lab 的研究者构建了 SciKnowEval 评测基准,定义了 L1 到 L5 不同层级的科学智能,共包含化学和生物领域 50,000 个不同层次的科学评测题目,并利用该数据集用于对 20 个开源和闭源 LLMs 进行基准测试。

    作者评测了上海交通大学、苏州实验室和思必驰联合研发的 ChemDFM-13B,通过测评发现,在专业领域知识测试中,ChemDFM-13B表现优秀,不仅全面领先其他开源模型,其化学水平也整体逼近 GPT-4o、Gemini1.5-Pro 等千亿甚至万亿参数的通用大模型,显示出垂域科学大模型的优势。在化学领域最高级的 L5 级任务中,ChemDFM-13B 甚至全面超越了通用大模型。

    最后,俞凯表达了对未来大模型的展望,他认为,我们要构建中国人自己的科学智能语言大模型,建立自主知识产权科学智能基座模型,利用科研第五范式推进科学发现。

    按下大模型应用加速键,助推长三角一体化发展

    思必驰在大模型领域取得的成果,正是得益于长三角地区创新体系的有力支撑和协同发展。近年来,思必驰不断发挥自身潜力,用实际行动推动长三角一体化发展,积极促进产业链上下游交流合作。2023年2月,思必驰获得“苏州市创新联合体”授牌;2024年1月,思必驰获批建设江苏省人工智能语言计算创新联合体;2024年6月,由思必驰牵头组建的“长三角语言计算创新联合体”正式成立,这也是首批成立的12个长三角创新联合体之一。同时,思必驰作为江苏省科创龙头企业代表,签署了长三角AI+场景联合创新战略合作协议。

    今后,思必驰将不断推进在长三角地区的区域赋能,紧密联系产业链上下游企业,开展产业重大前沿技术协同攻关,为长三角一体化发展注入源源不断的动力。