---
title: 画像による脳腫瘍の検出
tags:  #yolov8 #sam #object detection #ai #deep learning  
author: [Masato MIWADA](https://www.docswell.com/user/masato_miwada)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/972Y5P357R.jpg?width=480
description: Yolov8を使って脳のMRI画像から腫瘍を検出し、良性か悪性を判別します。 また、SAMモデルで腫瘍部を強調するAI・機械学習モデルについてのスライドです。
published: October 19, 24
canonical: https://www.docswell.com/s/masato_miwada/KJ492J-2024-10-19-144559
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/972Y5P357R.jpg)

画像による脳腫瘍の検出
2024年9月25日（水）
（ミワダ マサト）
三和田 将人


# Page. 2

![Page Image](https://bcdn.docswell.com/page/DJYGK516JM.jpg)

成果物について
• 脳腫瘍を検出し、良性/悪性を判別し、可視化できる高精度モデル
• 実機、無課金のクラウドという限られた資源で安価に開発
Predicted Image
Real Image
Segmented Image
作成に要した時間（延べ）：２箇月弱
•
事前調査：15日
•
試作品（精度が出るまで）：６日（18時間）
•
モデルの改良（交差検証）：３日（８時間）
•
文書作成：21日


# Page. 3

![Page Image](https://bcdn.docswell.com/page/V7NGRNQ1E8.jpg)

成果物について（再掲）
• 脳腫瘍を検出し、良性/悪性を判別し、可視化できる高精度モデル
• 実機、無課金のクラウドという限られた資源で安価に開発
Predicted Image
Real Image
Segmented Image
作成に要した時間（延べ）：２箇月弱
•
事前調査：15日
•
試作品（精度が出るまで）：６日（18時間）
•
モデルの改良（交差検証）：３日（８時間）
•
文書作成：21日


# Page. 4

![Page Image](https://bcdn.docswell.com/page/YJ9WMRDYJ3.jpg)

発表の流れについて
1. 背景（物体検出技術の有用性）
2. 開発環境
3. 学習データについて
4. 使用アルゴリズムについて
5. 結果
6. 次への施策（改良点）
7. 開発スケジュール
8. 苦労、実践したこと


# Page. 5

![Page Image](https://bcdn.docswell.com/page/GJ8NLW3KED.jpg)

1. 背景（物体検出技術の有用性）
• 動画像中の目的物を検出し、種類、位置及び個数を特定できる。
• 製造業、医療、建設業など幅広い分野で活躍する技術
（例）
1. 製造業、建設業での活用
→ 外観検査、資材の搬入確認、現場作業者の安全確認（下写真）
2. 医療での活用
→ 画像診断の補助
3. 車両（自動車、建設重機）や医療用機械
→ 自動運転、運転支援、外科手術支援
ITmedia Inc, BUILD, 「画像認識AI」で現場の安全衛生を支える！頻発する“工事事故”を防ぐ建設ICT,
https://built.itmedia.co.jp/bt/articles/2310/13/news020.html, 2023年10月（閲覧日2024年9月19日)


# Page. 6

![Page Image](https://bcdn.docswell.com/page/LJLPLNVPER.jpg)

2. 開発環境
ハードウェア
ソフトウェア
⚫Google Colab（無課金、T4GPU x ２）
Python 3.8（MacBook上）
• matplot lib
3.7.5
• numpy
1.24.4
• Pandas
2.0.3
• Scikit-learn
1.3.2
• PyTorch
2.4.1
• Torchvision
0.1.6
• Ultralytics
8.2.92
• Wandb
0.18.0
• SAM（Segment Anything Model）
⚫MacBook Air M1(2020）
演算装置：Apple M1 チップ
• Frequency ： 3.2GHz
• CPU Cores ： 8
• GPU Cores ： 7
• Memory
： 8GB
@git+https://github.com/facebookresearch/segment-any
thing.git@526fd066dea338ba2ca08886853bd37ffd6a8aec


# Page. 7

![Page Image](https://bcdn.docswell.com/page/47M4MXG2EW.jpg)

3. 学習データについて
Radiological Society of North America, Brain Tumor AI Challenge (2021)
• ソース
https://www.rsna.org/rsnai/ai-image-challenge/brain-tumor-ai-challenge-2021
• データセットの説明
北米放射線学会から提供されている脳のMRI画像（３面からそれぞれ
撮影された画像があるが、ここではAxial：横断面を例としている。）
Data
train
Image : 385
Label : 371
Image : 296
Label : 296
test
Image : 75
Label : 75
80%
train
20%
valid
×５
（5 - Fold）


# Page. 8

![Page Image](https://bcdn.docswell.com/page/P7RWVNZ5E9.jpg)

4. 使用アルゴリズムについて（１）
物体検出及び分類 … Yolo（You Only Look Once） ver.8
• 対象画像を小領域に分割し、特徴を検出するCNN系列の手法。
• 高精度・高速なため、自動運転などのリアルタイム検出に使われている。
• SOTA（State Of The Art：現在の最先端手法）である。
Joseph Redmon and Santosh Divvala and Ross Girshick and Ali Farhadi, &quot;You Only Look Once: Unified, Real-Time Object
Detection, CVPR 2016 papers, 2016, https://arxiv.org/abs/1506.02640


# Page. 9

![Page Image](https://bcdn.docswell.com/page/PJXPZN9XEX.jpg)

4. 使用アルゴリズムについて（２）
検出物体の可視化 … SAM（Segment Anything Method）
• 2023年にMeta社が公開したセグメンテーションの基盤モデル
（セグメンテーションとは画像を画素レベルで個別のグループに分割すること）
• このモデルでは自然言語処理から画像向けに転用した深層学習手法、ViT（Vision
Transformation）を使用している。
• Yolov8で検出した脳腫瘍の座標をSAMモデルに与え、可視化させた。
Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and
Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick, &quot;Segment Anything&quot;, ICCV
2023 open access, 2023, https://arxiv.org/abs/2304.02643


# Page. 10

![Page Image](https://bcdn.docswell.com/page/3JKD8NP97D.jpg)

5. 結果（Axial：横断面）
評価データ（Valid）及び試験データ（Test）の両方において精度が高い
試験データ（Valid）
評価データ（Valid）
all
negative
positive
mAP50 mAP50-95 precision
100%
86.2%
100%
100%
86.9%
100%
100%
85.6%
100%
Predicted Image
Recall
F1-Score
100%
100%
99.0%
100%
100%
100%
Real Image
all
negative
mAP50 mAP50-95 precision
98.7%
84.5%
97.5%
98.7%
84.5%
Segmented Image
Recall
99.0%
F1-Score
98.3%


# Page. 11

![Page Image](https://bcdn.docswell.com/page/LE3R2VX975.jpg)

5. 結果（Coronal：冠状面）
評価データ（Valid）及び試験データ（Test）の両方において精度が高い
試験データ（Valid）
評価データ（Valid）
all
negative
positive
mAP50 mAP50-95 precision
97.9%
85.9%
100.0%
99.5%
88.0%
100.0%
96.4%
83.8%
100.0%
Predicted Image
Predicted Image
Recall
F1-Score
97.6%
97.6%
100.0%
100.0%
96.3%
96.2%
Real Image
Real Image
all
negative
positive
mAP50 mAP50-95 precision
99.0%
84.3%
96.0%
99.4%
85.5%
94.1%
98.6%
83.1%
98.0%
Segmented
ImageImage
Segmented
Recall
F1-Score
95.1%
95.5%
94.1%
94.1%
96.0%
97.0%


# Page. 12

![Page Image](https://bcdn.docswell.com/page/8EDYZ828EG.jpg)

5. 結果（Sagittal：矢状面）
比較的、精度が低い
← 腫瘍部が全体に比べ小さいため、学習と検出が困難だった。
試験データ（Valid）
評価データ（Valid）
all
negative
positive
mAP50 mAP50-95 precision
95.4%
79.7%
77.1%
95.7%
82.6%
92.4%
95.1%
76.8%
69.6%
Predicted Image
Image
Predicted
Recall
F1-Score
95.5%
85.3%
97.1%
94.7%
72.7%
71.1%
Real
Image
Real
Image
all
negative
positive
mAP50 mAP50-95 precision
91.1%
76.8%
56.0%
92.2%
73.6%
56.0%
90.0%
80.0%
94.7%
Segmented
ImageImage
Segmented
Segmented
Image
Recall
F1-Score
49.1%
58.7%
48.3%
51.9%
50.0%
65.5%


# Page. 13

![Page Image](https://bcdn.docswell.com/page/V7P6D81WJ8.jpg)

6. 次の施策（改良点）
（案の１）
① より多くの学習データを与え、モデルに強化学習を施す
② Data Augmentation：データ拡張をし、画像データを水増しする
（例）
• 輝度値を変える
• 回転を加える
（案の２）
SAHIを施す。（腫瘍部が小さいため、検出精度が下がっている場合）
SAHI：Slicing Aided Hyper Inference
推論時、小領域を重複して探索することで、小物体を検出するアルゴリズム


# Page. 14

![Page Image](https://bcdn.docswell.com/page/2JV31NY9EQ.jpg)

7. 作成スケジュール
成果物種類
画像による脳腫瘍の
検出
ツール
工程
細目
07/16 07/17 07/18 07/19 07/20 07/21 07/22 07/23 07/24 07/25 07/26 07/27 07/28 07/29 07/30 07/31 08/01 08/02 08/03 08/04 08/05 08/06 08/07 08/08 08/09 08/10 08/11 08/12 08/13 08/14 08/15 08/16 08/17 08/18 08/19 08/20 08/21 08/22 08/23 08/24 08/25 08/26 08/27 08/28 08/29
09/10 09/11 09/12 09/13 09/14 09/15 09/16 09/17 09/18 09/19 09/20
火
火
水
木
金
土
日
月
火
水
木
金
土
日
月
火
水
木
金
土
日
月
火
水
木
金
土
日
月
火
水
木
金
土
日
月
火
水
木
金
土
日
月
火
水
木
水
木
金
土
日
月
火
水
画像検出技術の調査
R-CNN
Tensorflow
画像検出技術の習得
Faster-RCNN
Yolov8
セグメンテーションモデルの習得
Pytorch
SAM
課題の設定
コードの作成
モデルの改良
ポートフォリオの作成
文書作成
スライド作成
作成に要した時間（延べ）：２箇月弱
• 事前調査：15日
• 試作品（精度が出るまで）：６日（18時間）
• モデルの改良（交差検証）：３日（８時間）
• 文書作成：21日
但し、
• 就活準備（写真撮影や書類）
• 他の成果物の作成
で本来時間の1.5～2倍の期間を記している。
木
金


# Page. 15

![Page Image](https://bcdn.docswell.com/page/5EG32K947L.jpg)

8. 苦労、実践したこと
• 苦労点
➢実機（M1 Mac）での学習におけるミニバッチサイズの設定
ライブラリの仕様で適切なバッチサイズを設定しないと
• 計算が回らなかったり
• メモリリークが発生した
ので、適切な設定の探索に時間を要した。
↑ オフライン環境や限られたメモリ資源での開発を想定した。
• 実践したこと
➢SAMの導入
脳全体を明示化しないよう、Yolo v8モデルで検出した領域を与えることで
腫瘍周辺に限定できた。また、SAMは多くのメモリを要するが、処理範囲
を限定することで省メモリ化で実装できた。


# Page. 16

![Page Image](https://bcdn.docswell.com/page/4JQ5PNWR7P.jpg)

ご清聴ありがとうございました


