Python ではじめる機械学習 1. はじめに

1. はじめに 機械学習 教師あり学習 識別 回帰 中間的学習 少量データ 学習 強化学習 教師なし学習 モデル推定 パターン マイニング 1.1. 人工知能，機械学習，深層学習 1.2. 生成AIへの道 荒木雅弘 : 『Pythonではじめる機械学 1.3. 機械学習を適用する流れ スライドとコード 1.4. 機械学習の分類 習』 （森北出版，2025年）

• https://masahiroaraki.github.io/ja/
• https://www.morikita.co.jp/books/mid/085861
• https://masahiroaraki.github.io/MachineLearning3/

1.1 人工知能，機械学習，深層学習 (1/4) 人工知能の定義 現在，人が行っている知的な作業を代わりに行う技術 事例：対話システム，ロボット制御，自動運転，病気の診断，新薬や新素材の開発など 技術が普及すると人工知能とはみなされなくなる 例）文字認識，顔検出 人工知能の要素技術 探索，知識表現．推論，機械学習など

1.1 人工知能，機械学習，深層学習 (2/4) 人工知能，機械学習，深層学習の関係 人工知能 ⊃ 機械学習 ⊃ 深層学習 ⼈⼯知能 探索 推論 知識表現 機械学習 線形回帰 クラスタリング 勾配ブース ティング 深層学習 CNN RNN Transformer

1.1 人工知能，機械学習，深層学習 (3/4) 機械学習 知的な判断を行う技術を，データから規則性を導くことによって実現する方法 ビッグデータが利用可能になったことが背景 インフル だって Shopping 39度!! ⾵邪かも... 顧客のセグメンテーションや 履歴にもとづく推薦 不正利⽤の検出 流⾏の予測

1.1 人工知能，機械学習，深層学習 (4/4) 深層学習 多層に非線形変換を重ねる手法による機械学習 特徴抽出処理も学習対象とすることができる点が特長 ⼊⼒層 隠れ層 ... ... ... 特に音声，画像，自然言語の認識，生成で高い性能を示す 出⼒層

1.2 生成AIへの道 (1/2) 生成AIとは テキスト，画像，音声，動画など，多様な形式のデータを指示に基づいて生成する技術 大規模言語モデル は生成AIの代表例 大量のテキストデータを用いて学習された深層学習モデル テキスト生成，翻訳，要約，質問応答など多様なタスクに対応可能 大規模言語モデルの作成には，さまざまな機械学習技術が活用されている

1.2 生成AIへの道 (2/2) 生成AIと機械学習技術 Transformer （第9章） ... 応答の適切性向上 1 強化学習 A A2 （第15章） の予測 応答評価 モデル ... ⾃⼰教師あり学習 （第14章） 応答能⼒の向上 パラメータの更新 パラメータの更新 転移学習 （第14章） ⼤量の⽂書 A1 : 0.7 A2 : 0.1 ... ⽂章⽣成能⼒の向上 Q : 「...」 A : 「...」 Q : 「...」 質問応答事例 質問事例 ⽣成AI （⼤規模⾔語モデル）

1.3 機械学習を適用する流れ (1/4) 機械学習（教師あり学習）の適用プロセス 作成したいものは，入力から分類結果や予測結果などの出力を得るプログラムとする 以下の図の a, b, c のステップを順に実行 a ⼊⼒ c 制約 b 学習データ 機械学習 アルゴリズム プログラム （学習済みモデル） 出⼒ （分類・予測）

1.3 機械学習を適用する流れ (2/4) 適用可能性を判断する 図の a にあたる部分について，機械学習が必要かどうかを判断 規則を人が明示的に記述できる場合は，機械学習は不要 例）単純な特徴抽出とシンプルな規則を組み合わせた推薦システム，適用順序が明確に決めら れた手続きの自動化 規則を記述する際のロジックが明確ではない場合は，機械学習が有効 ただし， 「解き方がわからないままでもよいか」を検討する必要あり 例）医療診断支援システム

1.3 機械学習を適用する流れ (3/4) データに合わせてモデルを最適化する 図の b にあたる部分について，数理モデルを設定し，データに合わせて最適化する プログラムとして，入力 x から出力 y ^ を求める数理モデル f を設定 ​ y^ = f (x; θ) ​ θ はモデルのパラメータ 正解 y と出力 y ^ から定義される損失関数 L(y, y^) の値が最小となるようにパラメータ θ ​ ​ を最適化 ただし，図の c にあたる部分の検討が終了するまでは，あくまでも PoC（概念実 証）

1.3 機械学習を適用する流れ (4/4) さまざまな制約を適用する 図の c にあたる部分について，学習に使用するデータ，学習法．運用段階のそれぞれに ついて制約や要請を確認 データに関する制約 プライバシー，著作権，公平性 学習法に関する制約 計算資源，学習時間，解釈可能性 運用段階に関する制約 入力されるデータの変化に対する堅牢性の実現 不適切な出力を抑制する枠組み

1.4 機械学習の分類 データへの正解の有無と出力の種類の組み合わせで分類 機械学習 教師あり学習 識別 回帰 中間的学習 少量データ 学習 強化学習 教師なし学習 モデル推定 パターン マイニング

1.4.1 教師あり学習 (1/3) 教師あり学習のデータ 入力ベクトル xi と正解情報 yi のペア ​ ​ {(xi , yi )} (i = 1, … , N ) ​ ​ 入力ベクトルは次元数 d の固定長ベクトル（各要素は数値またはカテゴリデータ） xi = (xi1 , … , xid )T ​ 学習したいモデル : f (x) : x → y 正解情報の型によって問題が分かれる カテゴリ：識別，連続値：回帰 ​ ​

1.4.1 教師あり学習 (2/3) 識別 正解情報がカテゴリ 例）感染の判定: 陽性, 陰性 未知データに対する誤りが最小となるような入力空間上の識別面を求める どちらの識別面が未知データに対してうまく識別できそうか (a) 学習データ (b) 学習結果1 (c) 学習結果2

1.4.1 教師あり学習 (3/3) 回帰 正解情報が連続値 汎化誤差が最小となるような近似関数を求める 平均気温 (a) 学習データ 売上⾼ 売上⾼ 売上⾼ どちらの関数が未知データに対してうまく予測できそうか 平均気温 (b) 1次式による回帰 平均気温 (c) ⾼次の式による回帰

1.4.2 教師なし学習 (1/4) 教師なし学習のデータ 入力ベクトル xi のみ（入力ベクトルは次元数 d の固定長ベクトル） ​ {xi } (i = 1, … , N ) ​ 学習したいモデル : f (x) : x → x ^ ただし，x ^ は，もとの x にかなり近いものから，ほぼ同じ情報を表しているとみなせる 場合まで，かなり幅広いものを考える 学習で得たいものは f ではなく，x の背後にある構造や規則性 モデルがカバーする範囲によって問題が分かれる データ全体をカバー：モデル推定 データ中から頻出する傾向を発見：パターンマイニング

1.4.2 教師なし学習 (2/4) モデル推定 入力ベクトルは主として数値データ クラスタリング：データをまとまりに分割する データを生じさせたクラスを推定 確率密度推定 クラスの確率分布を推定 (a) 正解情報のないデータ (b) クラスタリング結果の例 (c) 確率密度推定結果の例

1.4.2 教師なし学習 (3/4) パターンマイニング 頻出項目や隠れた規則性を発掘 入力ベクトルは主としてカテゴリデータ（またはカテゴリとみなせるもの） 菓⼦パンとビスケットの 両⽅で True が頻出する リフト値 lift 0.84 その他 ベビー 菓⼦ ビス ⾷料品 ⽤品 パン ケット クーポン ジュース お茶 1.25 ⽔ 0.82 確信度 confidence 0.8 1.2 0.78 ビスケットを買う → 菓⼦パンも買う 0.76 0.74 1.15 1.1 0.72 0.7 0.3 0.35 0.4 0.45 ⽀持度 support (a) スーパーマーケットの購買記録 (b) 抽出された規則 0.5

1.4.2 教師なし学習 (4/4) 行列分解 入力は表面的には数値，実質はカテゴリとみなせるもの 対象を低次元ベクトルで表現して，未知の要素を予測 ユーザの商品評価 2 4 5 1 1 4 2 5 × 商品の特徴 = 2 4 2 5 3 ⾏列分解 ユーザの特徴

1.4.3 中間的学習 (1/3) 少量データ学習 半教師あり学習 大量の正解なしデータと少量の正解付きデータを組み合わせて学習 正解付きデータが少ない場合に有効 転移学習 あるタスクで学習したモデルを別のタスクに適用 類似タスク間で有効 自己教師あり学習 一部の入力信号を隠して，それを復元するタスクで表現学習 表現学習の後，少量のタスクデータでファインチューニング

1.4.3 中間的学習 (2/3) 自己教師あり学習とファインチューニング w マスクされた 単語の予測 h1 h2 h3 出⼒ パラメータの 調整 NN softmax h0 output h4 h5 出⼒ 教師あり学習 h0 ⾔語モデル [CLS] ⽂章の⼀部を マスク記号 MASK に おきかえ w1 w2 MASK w3 w4 (a) ⾃⼰教師あり学習 ⾔語モデル w5 ⼊⼒ [CLS] w1 w2 w3 w4 (b) ファインチューニング w5 ⼊⼒

1.4.3 中間的学習 (3/3) 強化学習 遷移する状態における最適な行為を学習 正解情報が間接的，確率的に与えられる スタート S F F F F H F H F F H F F G エージェント ：可能な⾏為 H ⽳：落ちれば終了 ゴール：報酬が得られる

1.5 まとめ 人工知能 ⊃ 機械学習 ⊃ 深層学習 機械学習とは あらかじめ設定された仮定，制約を満たす数理モデルのパラメータを，入力と出力がペ アになったデータ（あるいは入力のみのデータ）を用いて最適化する方法 機械学習の分類 教師あり，教師なし，中間的

推奨資料 書籍 荒木雅弘. マンガでわかる機械学習, オーム社, 2018. 谷口忠大. イラストで学ぶ人工知能概論 改訂第2版. 講談社, 2020. オンラインコンテンツ PFN社 Chainerチュートリアル 機械学習帳 (by 岡崎先生@東工大) 久保さん@AWSによるまとめや演習問題の解答

• https://tutorials.chainer.org/ja/tutorial.html
• https://chokkan.github.io/mlnote/index.html
• https://github.com/icoxfog417/mlnote-note