摘要
随着科学技术和医疗水平的发展，医院每日都会产生大量的医学影像数据，这增加了放射科医 生医疗诊断及影像报告撰写的负担。医学影像报告自动生成的研究大多是基于 Image Caption 的模型 设计，虽取得了一定的效果，但没有对医学影像特征和医学语义进行充分的分析，只是通过模型的 训练使影像特征与报告中的文本特征对齐，导致所生成的医学影像报告质量不高，临床意义有限。
本文提出了一种基于 Topic 注意力机制的医学影像报告自动生成模型 (Topic-Based Attention Medical Report Generation Model ，TAMRGM) ，此模型可以充分考虑影像报告的医学语义特征和提 升深度学习训练的模型性能， 自动生成更加准确的医学影像报告。首先，模型对医学影像进行了特 征提取，并结合影像报告中的医学语义特征，通过加入注意力机制对影像图像和文本特征进行多模 态融合，然后，利用 Topic 生成器完成对该影像定性的分析，逐句生成影像报告细节信息，生成高 质量影像报告，最后，在 OpenI 数据集上，通过对 TAMRGM 模型进行训练和评估，利用 BELU Score、 METEOR、ROUGE 和 CIDEr 评价指标对模型生成的影像报告进行了评估。实验结果表明，TAMRGM 模型的效果好于 CNN-RNN 、Hierarchical Generation 以及 Co_Attention 模型，故，验证了 TAMRGM 模型对于生成高质量医学影像报告的有效性。
综上，在现有医学影像报告自动生成研究的基础上，本文提出了基于 Topic 注意力机制的医学 影像报告自动生成模型 TAMRGM ，并在胸部 X 射线 OpenI 数据集上进行了模型的构建和有效性的 验证。通过此研究可以辅助放射科医生快速完成影像报告的撰写，为患者提供更好的诊疗服务。
关键词：深度学习，医学影像报告自动生成，注意力机制，多模态学习
评论0