使用LangChain框架结合大型语言模型（LLM）生成乳腺超声（BUS）报告的方法

这篇论文介绍了一种使用LangChain框架结合大型语言模型（LLM）生成乳腺超声（BUS）报告的方法。地址：arxiv.org/pdf/2312.03013.pdf

这种方法通过整合多个图像分析工具，旨在提高报告的准确性和标准化程度，减轻放射科医生和医疗专业人员的工作负担。以下是文章的核心点：

  1. 背景：乳腺超声是乳腺成像的关键诊断工具，用于早期发现和特征乳腺异常。然而，手动创建超声图像的全面医疗报告是一个耗时的过程，且结果可能因临床医生而异。

  2. 方法：提出了一种新方法，通过LangChain框架结合LLM来生成BUS报告。LangChain是一个基于LLM的框架，可以调用专门的工具来处理不同的任务。文章中使用了三个主要工具：“可疑描述工具”、“类别分类工具”和“探头信息工具”。

  3. 工具细节：

  • “可疑描述工具”结合了形状、边缘和回声分类网络，用于描述可疑实体的特征。

  • “类别分类工具”根据乳腺成像报告和数据系统（BI-RADS）将图像分类为阴性、良性或高度提示恶性。

  • “探头信息工具”提供关于探头位置的信息，将探头标记分类为12个特定类别。

  1. 模型训练：使用来自750名患者的BUS图像进行训练，分为训练集、验证集和测试集。所有分类网络都基于预训练的ResNet-50模型。

  2. 实验结果：

  • 对每个工具进行了评估，结果显示它们在各自的任务上表现良好，准确率、精确度、召回率和F1分数均较高。

  • 生成了包含关键信息的初步报告，并使用LLM生成了最终报告。

  • 在临床评估中，生成的报告在临床意义上是有意义的。

  1. 讨论和结论：尽管该方法在实验中显示出了潜力，但仍存在一些局限性，如子模型可能引入错误，以及图像分割过程是基于规则的，可能无法处理探头标记或主要图像位置差异较大的情况。尽管如此，该方法为医疗工作流程的整合提供了有希望的前景。

文章还提到了将可疑检测工具和光学字符识别（OCR）工具集成到LangChain中，以进一步提高报告的全面性和准确性。

image.png