摘要
随着科学技术和医疗水平的发展,医院每日都会产生大量的医学影像数据,这增加了放射科医 生医疗诊断及影像报告撰写的负担。医学影像报告自动生成的研究大多是基于 Image Caption 的模型 设计,虽取得了一定的效果,但没有对医学影像特征和医学语义进行充分的分析,只是通过模型的 训练使影像特征与报告中的文本特征对齐,导致所生成的医学影像报告质量不高,临床意义有限。
本文提出了一种基于 Topic 注意力机制的医学影像报告自动生成模型 (Topic-Based Attention Medical Report Generation Model ,TAMRGM) ,此模型可以充分考虑影像报告的医学语义特征和提 升深度学习训练的模型性能, 自动生成更加准确的医学影像报告。首先,模型对医学影像进行了特 征提取,并结合影像报告中的医学语义特征,通过加入注意力机制对影像图像和文本特征进行多模 态融合,然后,利用 Topic 生成器完成对该影像定性的分析,逐句生成影像报告细节信息,生成高 质量影像报告,最后,在 OpenI 数据集上,通过对 TAMRGM 模型进行训练和评估,利用 BELU Score、 METEOR、ROUGE 和 CIDEr 评价指标对模型生成的影像报告进行了评估。实验结果表明,TAMRGM 模型的效果好于 CNN-RNN 、Hierarchical Generation 以及 Co_Attention 模型,故,验证了 TAMRGM 模型对于生成高质量医学影像报告的有效性。
综上,在现有医学影像报告自动生成研究的基础上,本文提出了基于 Topic 注意力机制的医学 影像报告自动生成模型 TAMRGM ,并在胸部 X 射线 OpenI 数据集上进行了模型的构建和有效性的 验证。通过此研究可以辅助放射科医生快速完成影像报告的撰写,为患者提供更好的诊疗服务。
关键词:深度学习,医学影像报告自动生成,注意力机制,多模态学习
请先
!