“看”图识牙病!全国首个口腔多轮健康对话与多模态推理数据集发布

佛山市新闻传媒中心

想象一下,在家拍张口腔照片上传就能获得专业健康评估,随口描述牙龈出血、牙齿酸痛等症状,AI就能通过多轮追问厘清问题——佛山两个数据集的发布,即将让这一便捷场景成为现实。

近日,由佛山大学牵头筹建的佛山市人工智能研究院,正式发布全国首个口腔多轮健康对话数据集与全国首个口腔多模态推理数据集。这是研究院推动“人工智能+”行动落地的一个缩影,不仅填补了口腔领域AI研发的核心数据空白,更以技术创新破解产业痛点,为佛山打造全球口腔AI创新高地奠定基础。

多轮口腔健康对话数据集:赋能院外口腔咨询

近年来,人工智能正在成为学术界和产业界的热门领域,相关的产品和成果层出不穷。作为智能体或者机器人的大脑,想要让大模型的性能更优,关键在于能否获得高质量的真实世界大数据。

佛山是全国最大的口腔器械生产基地之一,全球近50%的牙椅产自这里。但佛山口腔行业AI研发也面临投入产出不确定、专业人才缺乏、数据资源稀缺等痛点。

广东省政协委员、佛山市人工智能研究院筹备工作组负责人吴芳博士介绍,当前口腔健康相关的数据集主要用于图像识别、目标检测等传统任务,尚未有专用于口腔健康的多轮对话数据集与多模态推理数据集。

为此,佛山大学基于附属口腔医院的医生与设备优势,结合佛山市人工智能研究院的AI技术优势,构建了22万轮高质量病历文本驱动的多轮口腔健康对话数据集,以及1500例多角度口内照片的多模态口腔健康推理数据集。

多轮口腔健康对话数据集构建过程。

“团队基于佛山大学附属口腔医院积累的海量病历文本,经过严格的匿名化、隐私过滤、伦理审查,遴选出1.2万份高质量且无隐私信息的病历案例。”吴芳说,这些案例经过“医生-智能体”共融环约束的多专家智能体与用户状态追踪的对话合成,能让AI理解患者的症状描述、病史和生活习惯,并通过多轮追问来厘清问题,进行初步问诊和分诊,进而支撑开发智能口腔助手、预问诊系统、7x24小时口腔健康咨询机器人,大幅提升患者咨询的便捷性和医疗服务的效率。

口腔多模态推理数据集:让AI贴近医生诊断

全国首个多角度口内照片的多模态口腔健康推理数据集,则能够让AI结合多个角度的信息,更准确地判断牙弓形态、咬合关系、牙齿排列等,而不仅仅是单一的疾病。基于该数据集训练的AI模型将可以同时完成龋齿检测、牙周健康评估、牙齿畸形识别等多个任务,更贴近医生的实际诊断流程。

口腔多模态推理数据集构建过程。

吴芳介绍,该数据集是基于佛山大学附属口腔医院积累的上万份多角度口内照片样例,遴选出的1500份高质量多角度口内照片案例,经过多模态理解智能体构建初步的思维链&分析报告,然后采用“医生-智能体”共融环约束的多专家智能体实现病历与医生知识约束的思维链&分析报告的校对、修改最终构建。

佛山大学联合佛山市人工智能研究院打造口腔AI高质量数据集,具有深远的技术、产业与社会价值。在技术层面,它推动了口腔AI从单一的“图像识别”迈向“多模态交互推理”,是技术发展的重要拐点。在产业层面,它填补了口腔AI数据要素空白,破解了研发瓶颈,有望催生一个繁荣的口腔AI应用生态,并确立了佛山在该领域的先发优势。在社会层面,有助于辅助基层医生进行诊断,提升其诊断水平,也能为患者提供初步筛查,实现优质医疗资源的有效延伸,提升全民口腔健康水平。

未来,佛山市人工智能研究院、佛山大学附属口腔医院将持续打造更丰富的口腔场景多模态推理数据集,构建口腔垂域多模态推理大模型与智能体,全力助推佛山市打造全球口腔AI数据中心与创新中心,以“AI+口腔”的深度融合,为产业升级与民生改善注入强劲动能。

文字丨佛山市新闻传媒中心记者 倪玉洁