AIハイパーパラメータ調整VS教師データ品質

ミニWDDDS AIハイパーパラメータ調整 VS 教師データ品質 Rev.1 2022年12月2日 SP2212-E01 サイエンスパーク株式会社 プラットフォーム部 画像システム課 Confidential Copyright SciencePark Corp. All Rights Reserved

目次 1. 自己紹介 2. 概要 3. 教師データの品質とは 4. アノテーション失敗例 5. AI精度の改善差 6. 実際にやってみた 7. 弊社サービス紹介 Confidential Copyright SciencePark Corp. All Rights Reserved 2

1. 自己紹介 部署: プラットフォーム部 画像システム課 名前: 安原 彬裕 1986年広島県福山市生まれ 職業能力開発大学校 通信システム工学化卒業後、 2009年サイエンスパーク株式会社に入社。 以後、画像処理・AIプロジェクトに多数従事。 肩書はリーダー、スペシャリストを目指すもジェ ネラリストになりつつある。 Confidential Copyright SciencePark Corp. All Rights Reserved 3

2. 概要 PoC開発 システム 要件定義 システム 設計 データ収集 データ選定 実装 教師データ 作成 学習 モデル評価 パラメータ調整 システム 試験 手戻り Confidential Copyright SciencePark Corp. All Rights Reserved 4

3. 教師データの品質とは (1) 定義が統一されていること (2) 正確にラベリングされていること (3) データに偏りがないこと Confidential Copyright SciencePark Corp. All Rights Reserved 5

4. アノテーション失敗例(1) アノテーションが雑 Confidential Copyright SciencePark Corp. All Rights Reserved 6

4. アノテーション失敗例(2) 定義の不統一 Confidential Copyright SciencePark Corp. All Rights Reserved 7

4. アノテーション失敗例(3) ラベル違い Fox Confidential Dog Copyright SciencePark Corp. All Rights Reserved 8

5. AI精度の改善差 参考：A Chat with Andrew on MLOps : From Model-centric to Data-centric AI ( https://youtu.be/06-AZXmwHjo ) Confidential Copyright SciencePark Corp. All Rights Reserved 9

• https://youtu.be/06-AZXmwHjo

6. 実際にやってみた 7.1 ハイパーパラメータ調整 7.2 教師データの品質 (1) 教師データにラベルミスを混入 (2) 教師データ自体にノイズ追加 ※いずれも、教師データ : 検証データ = 8 : 2 アルゴリズムはMask-RCNN Confidential Copyright SciencePark Corp. All Rights Reserved 10

6. 実際にやってみた predicted class actual class Confidential Positive Negative Positive TP FN Negative FP TN Copyright SciencePark Corp. All Rights Reserved 11

6.1 ハイパーパラメータ調整 base Confidential param1 param2 param3 param4 param5 precision 0.8101 0.8104 0.8119 0.8025 0.8125 0.8303 recall 0.7537 0.7536 0.7457 0.7739 0.7583 0.7237 f-value 0.7809 0.7809 0.7773 0.7879 0.7844 0.7733 IoU 0.6405 0.6408 0.6342 0.6416 0.6333 0.6224 Copyright SciencePark Corp. All Rights Reserved 12

6.1 ハイパーパラメータ調整 1 0.9 0.8 0.7 0.6 0.5 0.4 base param1 param2 precision Confidential param3 recall f-value Copyright SciencePark Corp. All Rights Reserved param4 param5 IoU 13

6.2 教師データの品質 (1) 教師データにラベルミスを混入 fox dog base fox fox dog fox label miss (5%) label miss (10%) precision 0.8101 0.8275 0.7532 recall 0.7537 0.7398 0.7352 f-value 0.7809 0.7812 0.7441 IoU 0.6405 0.6401 0.5925 fox Confidential Copyright SciencePark Corp. All Rights Reserved 14

6.3 教師データの品質 (2) 教師データ自体にノイズ追加 dilation (膨張) erosion (収縮) Confidential base noise (dilation) noise (erosion) precision 0.8101 0.6633 0.9354 recall 0.7537 0.8714 0.4703 f-value 0.7809 0.7533 0.6259 IoU 0.6405 0.6042 0.4555 Copyright SciencePark Corp. All Rights Reserved 15

6.3 教師データの品質 1 0.9 0.8 0.7 0.6 0.5 0.4 base label miss(5%) precision Confidential label miss(10%) recall f-value Copyright SciencePark Corp. All Rights Reserved noise(dilation) IoU noise(erosion)

7. 弊社サービス紹介 (1) 教師データ作成サービス annotalent (2) AI環境構築サービス (3) 土木インフラ劣化検出 SciCS Confidential Copyright SciencePark Corp. All Rights Reserved 17

https://sciencepark.co.jp/professional_service_lp/annotation_service/ Confidential Copyright SciencePark Corp. All Rights Reserved 18

• https://sciencepark.co.jp/professional_service_lp/annotation_service/

Confidential Copyright SciencePark Corp. All Rights Reserved 19

Confidential Copyright SciencePark Corp. All Rights Reserved 20