AI 诊断 PK：PathChat 更胜一筹
想象一下，将一张看似淡紫色岩石，实际却是严重眼部肿瘤的图像交给四个顶尖的人工智能模型进行分析。结果 LLaVA-Med 将其误判为脸颊内壁恶性肿瘤， LLaVA 则更加离谱地认为它位于乳房。GPT-4V 虽然给出了冗长模糊的回答，但根本无法确定肿瘤的位置。
而 PathChat，这款全新的病理学专用大型语言模型，却准确地将肿瘤定位在眼睛上，并告知这可能很严重，会导致视力下降。
PathChat：计算病理学的未来之星
PathChat 由布莱根妇女医院的 Mahmood 实验室开发，是计算病理学领域的一项突破。它可以作为人类病理学家的得力助手，帮助识别、评估和诊断肿瘤和其他严重疾病。
PathChat 的表现明显优于其他领先模型，能够准确回答多项选择诊断问题，并对开放式问题生成具有临床指导意义的回答。从本周开始，PathChat 将通过与波士顿生物医学 AI 公司 Modella AI 的独家授权提供使用。
“PathChat 2 是一个多模态大型语言模型，它能够理解病理图像和临床相关文本，基本上可以与病理学家进行无障碍对话，”Modella 创始 CTO Richard Chen 在一个演示视频中解释道。
PathChat vs. 其他模型：全面胜出
在构建 PathChat 时，研究人员调整了一个用于病理学的视觉编码器，将其与一个预先训练的 LLM 相结合，并使用视觉语言指令和问答回合进行微调。问题涵盖了来自 11 个主要病理学实践和器官部位的 54 种诊断。
每个问题都包含两种评估策略：一张图像和 10 个多项选择题；以及一张包含患者性别、年龄、临床病史和放射学检查结果等额外临床信息的图像。
结果显示，当输入 X 光、活检、切片和其他医学检查的图像时，PathChat 的准确率分别为 78%（仅图像）和 89.5%（图像和临床信息）。该模型能够进行总结、分类和字幕生成；可以描述显著的形态学细节；并回答通常需要病理学和一般生物医学背景知识的问题。
研究人员将 PathChat 与 ChatGPT-4V、开源 LLaVA 模型和生物医学领域特定的 LLaVA-Med 进行了比较。在两种评估环境下，PathChat 的表现都优于其他三个模型。在仅使用图像的情况下，PathChat 的得分比 LLaVA 高出 52% 以上，比 LLaVA-Med 高出 63% 以上。当提供临床信息时，新模型的表现比 LLaVA 高出 39%，比 LLaVA-Med 高出近 61%。
同样，在仅使用图像提示的情况下，PathChat 的表现比 GPT-4 高出 53% 以上；在提供临床信息的情况下，其表现比 GPT-4 高出 27%。
迈向通用病理智能：PathChat 的未来展望
哈佛医学院病理学副教授 Faisal Mahmood 表示，以往用于病理学的人工智能模型大多是针对特定疾病（如前列腺癌）或特定任务（如识别肿瘤细胞的存在）而开发的。这些模型一旦经过训练，通常无法适应，因此病理学家无法以“直观、互动的方式”使用它们。
“PathChat 让我们向通用病理智能迈进了一步，这是一种人工智能助手，可以以互动和广泛的方式帮助研究人员和病理学家处理许多不同的病理学领域、任务和场景，”Mahmood 说道。
提供可靠的病理学建议，支持医学研究
PathChat 可以通过摄取组织病理学图像（组织的显微镜检查），提供有关结构外观的信息，并识别潜在的恶性特征，从而支持人类参与的诊断。
研究人员指出，这在需要更长、更复杂检查的情况下（例如原发性未知癌症，即疾病已从身体其他部位扩散）尤其有用。在缺乏经验丰富的病理学家的资源匮乏地区，它也可能非常有用。
同时，在研究领域，人工智能助手可以总结大量图像的特征，并可能支持对大型数据队列中形态学标记的自动量化和解释。
PathChat：开启计算病理学新篇章
“交互式、多模态的人工智能助手在病理学中的潜在应用是巨大的，”研究人员写道。“LLM 和更广泛的生成式人工智能领域有望为计算病理学开辟一个新领域，一个强调自然语言和人机交互的领域。”
PathChat 的出现为计算病理学领域带来了新的希望，预示着更加智能化和人性化的未来。