使用LangChain框架结合大型语言模型（LLM）生成乳腺超声（BUS）报告的方法
这篇论文介绍了一种使用LangChain框架结合大型语言模型（LLM）生成乳腺超声（BUS）报告的方法。地址：arxiv.org/pdf/2312.03013.pdf
这种方法通过整合多个图像分析工具，旨在提高报告的准确性和标准化程度，减轻放射科医生和医疗专业人员的工作负担。以下是文章的核心点：
-
背景：乳腺超声是乳腺成像的关键诊断工具，用于早期发现和特征乳腺异常。然而，手动创建超声图像的全面医疗报告是一个耗时的过程，且结果可能因临床医生而异。
-
方法：提出了一种新方法，通过LangChain框架结合LLM来生成BUS报告。LangChain是一个基于LLM的框架，可以调用专门的工具来处理不同的任务。文章中使用了三个主要工具：“可疑描述工具”、“类别分类工具”和“探头信息工具”。
-
工具细节：
-
“可疑描述工具”结合了形状、边缘和回声分类网络，用于描述可疑实体的特征。
-
“类别分类工具”根据乳腺成像报告和数据系统（BI-RADS）将图像分类为阴性、良性或高度提示恶性。
-
“探头信息工具”提供关于探头位置的信息，将探头标记分类为12个特定类别。
-
模型训练：使用来自750名患者的BUS图像进行训练，分为训练集、验证集和测试集。所有分类网络都基于预训练的ResNet-50模型。
-
实验结果：
-
对每个工具进行了评估，结果显示它们在各自的任务上表现良好，准确率、精确度、召回率和F1分数均较高。
-
生成了包含关键信息的初步报告，并使用LLM生成了最终报告。
-
在临床评估中，生成的报告在临床意义上是有意义的。
-
讨论和结论：尽管该方法在实验中显示出了潜力，但仍存在一些局限性，如子模型可能引入错误，以及图像分割过程是基于规则的，可能无法处理探头标记或主要图像位置差异较大的情况。尽管如此，该方法为医疗工作流程的整合提供了有希望的前景。
文章还提到了将可疑检测工具和光学字符识别（OCR）工具集成到LangChain中，以进一步提高报告的全面性和准确性。
