---
title: [DL輪読会]Diagnose like a Radiologist: Attention Guided Convolutional Neural Network for Thorax Disease Classification
tags:  #deep learning  
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/G75YKNLQ74.jpg?width=480
description: 2018/04/13 Deep Learning JP:  http://deeplearning.jp/seminar-2/
published: April 13, 18
canonical: https://www.docswell.com/s/DeepLearning2023/K1JW4V-dldiagnose-like-a-radiologist-attention-guided-convolutional-neural-network-for-thorax-disease-classification
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/G75YKNLQ74.jpg)

DEEP LEARNING JP
[DL Papers]
“Diagnose like a Radiologist: Attention Guided
Convolutional Neural Network for Thorax Disease Classification”
Hiromi Nakagawa, Matsuo Lab
http://deeplearning.jp/


# Page. 2

![Page Image](https://bcdn.docswell.com/page/9J2GW5LWJR.jpg)

1. Introduction
• NIHが2017/09に胸部X線画像のデータセットを公開
– NIH Chest X-ray Dataset of 14 common Thorax Disease Categories
• この画像診断に関するここ数ヶ月の論文を7本紹介します
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/DEYVLKQ9EM.jpg)

2. Dataset
• NIH Chest X-ray Dataset of 14 common Thorax Disease Categories
– 公式版 ver.：https://nihcc.app.box.com/v/ChestXray-NIHCC
– Kaggle ver.：https://www.kaggle.com/nih-chest-xrays/data
• 30,805人の患者の112,120枚の全面胸部X線画像(1024x1024のpng)
• 各画像には14種類の疾患のラベルが紐付いている（複数可）
– ラベルは診断文をNLPによって生成したものなので、精度は90+%程度
• 1000枚弱の画像のみ患部の位置情報を有する
– つまりごく少数しか場所はアノテーションされていない
• いくつかの問題点も指摘されている
– https://lukeoakdenrayner.wordpress.com/2017/12/18/the-chestxray14-dataset-problems/
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/VJNM4RKD78.jpg)

3.1
[17.05] ChestX-ray8: Hospital-scale Chest X-ray Database and Benchmarks on Weakly-Supervised
Classification and Localization of Common Thorax Diseases
• ChestX-Ray14の前身(?)を提案し、ベン
チマークモデルの精度を公開した
• AlexNet, GoogLeNet, VGGNet, ResNetな
どのアーキテクチャを比較
• Class Activation Mapによる疾患ごとの
ヒートマップ可視化
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/YE9NQMV8E3.jpg)

3.2
[17.10] Learning to Diagnose from Scratch by Exploiting Dependencies Among Labels
• DenseNetベースのencoderによって画
像から抽出した特徴量を元にLSTMで
decode、ステップTで疾患Tの有無を予
測する手法の提案
• ラベル間の依存関係を考慮できる
• （LSTMを使わなくても）ちゃんと
チューニングすればImageNetでの事前
学習は不要
• 医学的な文脈や解釈性に沿った新たな
評価指標を提案した
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/GE8KGLPZ7D.jpg)

3.2
[17.10] Learning to Diagnose from Scratch by Exploiting Dependencies Among Labels
• modela: 普通のDenseNetベース
• LSTMを使わなくてもちゃんと
チューニングすればImageNetでの
事前学習なくてもSOTA
• modelb1,b2：LSTMを使う
• AUCでの比較はなし
• 医学的な文脈や解釈性に沿った新
たな評価指標を提案し、LSTMを用
いることで精度が向上することを
示した
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/LELZGL11JR.jpg)

3.3
[17.11] Thoracic Disease Identification and Localization with Limited Supervision
• 数少ない病変位置のアノテーション情
報を有効活用
• Bounding boxのアノテーションがある
データについては教師あり学習、ない
データについてはmultiple instance
learning(MIL)を行う
• 病変領域に関するアノテーションが少
ない場合でも病変の領域と種類を推定
できる手法を提案した
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/4JMVQMW5JW.jpg)

3.3
[17.11] Thoracic Disease Identification and Localization with Limited Supervision
• 画像全体をM、bboxをNとする
• 画像iが疾患kを有する確率は
• 正例のbboxがある場合
N内に疾患kがある N外には疾患kはない
• それ以外
M内に疾患kのパッチが一つもない
• これらを重み付けして学習
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/PJR28VYZE9.jpg)

3.4
[17.11] CheXNet:
Radiologist-Level Pneumonia Detection on Chest X-Rays with Deep Learning
• ImageNetで事前学習したDenseNet121
をfine-tuningする
• 現役の放射線科医を上回る精度で
pneumonia(肺炎)を検出
• 非公式のpytorch実装がgithubにある
https://github.com/thtang/CheXNet-with-localization
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/PEXD8ZG17X.jpg)

3.5
[18.01] Diagnose like a Radiologist:
Attention Guided Convolutional Neural Network for Thorax Disease Classification
• 既存手法が画像全体に対して直接CNN
を適用しているだけで、タスク特有の
noiseなどを考慮しにくい点に着目
• 提案手法(AG-CNN)は
•
普通に全体でCNN (global branch)
•
global branchのheatmapを元に重要そ
うな部位のみでCNN (local branch)
•
globalとlocalの最終プーリング層を
マージしてfine-tuneする(fusion branch)
•
ベースはResNet50 &lt; DenseNet121
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/3EKXK84M7D.jpg)

3.1~3.5のまとめ
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/L735Z2L2E5.jpg)

3.6
[18.03] Learning to recognize Abnormalities in Chest X-Rays with Location-Aware Dense Networks
• ChestX-Ray14とPLCOのデータセットを併用
し、DenseNetベースの同一のネットワーク
で疾患のクラスと、位置情報クラスがある
場合にはそれも識別する分類器を学習
• 従来の研究報告が公式のデータセット分割
に基づいていない問題を指摘
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/87DDRZN67G.jpg)

3.6
[18.03] Learning to recognize Abnormalities in Chest X-Rays with Location-Aware Dense Networks
• 従来のランダムな分割は比較しにくい上に、
train/test間で同一患者のデータが重複する
など、設定として不適切
• 一方、公式分割も患者の重複はないものの
train/test間で分布の違いが大きい
• より効率的な分割方法も提案し、患者の重
複を防ぎながら公式の分割より精度が高く
なる現象を報告
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/VJPXWDNZ78.jpg)

3.7
[18.03] Comparison of Deep Learning Approaches for Multi-Label Chest X-Ray Classification
• 既存手法同士の比較が困難な点を指摘し、
各手法の寄与を検証
• 重みの初期化
• 事前学習や転移学習
• ネットワークのアーキテクチャ
• 画像以外の特徴量（年齢、性別、撮影
位置）
• ImageNet pretraining+fine-tuningより、入力
画像を大きくし、画像以外の特徴量を用い
てゼロからで学習したモデルが最良の精度
を発揮したことを報告。
• 公式のデータ分割に基づいてはいない
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/2EVL81KMJQ.jpg)

感想
• データの分割法や前処理が違ったりして、各手法の貢献やベストプラクティス、実質的なSOTA
の精度などが不明な状態
• LSTMで依存関係を考慮・パッチに分割してMIL・global/localモデルに分けるなどは面白かったが、
全体的には単純な手法が多い印象
– 医療画像の性質+そもそものCNN系のテクニックをしっかり整理して検証すれば改善できそう
• データが少ないからImageNetで事前学習→？
• 微細領域への注目→？
• ラベルのノイズ・クラス数の偏り→？
• Augmentation→？
– （既存手法との差分をしっかり検証していないorそもそもSOTAじゃない論文も多かった）
15


