--- title: 【DB勉強会】07_データ受領と探索的データ分析～NotebookLMを使ったお手軽EDA～ tags: #製造業データビジネス勉強会 author: [shimitaka（清水隆史）](https://www.docswell.com/user/shimitaka) site: [Docswell](https://www.docswell.com/) thumbnail: https://bcdn.docswell.com/page/G78DGK5K7D.jpg?width=480 description: （AIのよる要約） 本スライドでは、他社・他部署・オープンデータなどからのデータ受領手段（メール添付、Teams、API、クラウドストレージ、データレイク）を比較し、フェーズ（超初期、初期、システム開発、運用）や環境（ローカル、クラウド）に応じた最適な受領方法を提案しています。また、NotebookLMを活用した探索的データ分析（EDA）の具体的なステップとして、データ概要の把握、分布の可視化、欠損値・外れ値の確認、相関・クロス集計の実施方法を紹介しています。 published: June 08, 26 canonical: https://www.docswell.com/s/shimitaka/ZX26PN-data-business-benkyo-07 --- # Page. 1 ![Page Image](https://bcdn.docswell.com/page/G78DGK5K7D.jpg) 【製造業データビジネス勉強会】07 データ受領と探索的データ分析 ～NotebookLMを使ったお手軽EDA～ 2026/06/09 @shimitaka1982 清水 隆史 # Page. 2 ![Page Image](https://bcdn.docswell.com/page/L7LMGZYPJR.jpg) 今日の 勉強どころ # Page. 3 ![Page Image](https://bcdn.docswell.com/page/4EMYQVN2EW.jpg) データビジネスの階層構造 プロセス 現時点の 個人的な感触 新規事業創出 プロジェクトマネジメント ビジネスモデル 要求分析・要件定義 プロダクトマネジメント リスクマネジメント プラクティ ス マインドセット 人材育成 ビジネス力 データサイエンス力 データエンジニアリング 力 # Page. 4 ![Page Image](https://bcdn.docswell.com/page/PER982D5J9.jpg) データビジネスの進め方 ① 事業設計 ⑧ マ ③ データ準備 ー ④ 探索的データ分析 ケ テ ⑤ モデル構築 ィ ン ⑥ 社会実装 グ ⑦ 保守・運用 ② サービス設計 現時点の 個人的な感触 • いずれも単方向ではなく、 行ったり来たりを繰り返す • 全てを行うわけではなく、 途中から始まったり途中で 終わったりすることもある • 初期の段階で後期の要素を 考えておく必要がある # Page. 5 ![Page Image](https://bcdn.docswell.com/page/P7XQ8D1XEX.jpg) データ受領 # Page. 6 ![Page Image](https://bcdn.docswell.com/page/37K9KX297D.jpg) ずっと思ってたこと 一番良いデータ受領の 方法って何だろう？？ # Page. 7 ![Page Image](https://bcdn.docswell.com/page/LJ3WZ549J5.jpg) どこからデータを受領するか 他社からのデータ受領 ✓他社とNDAを締結した上でデータを受領するパターン 他部署からのデータ受領 ✓他部署からデータを受領するパターン 第三者からのデータ受領 ✓オープンデータを集めてきたりデータを購入したりする ✓（※あまり『受領』とは言わない） # Page. 8 ![Page Image](https://bcdn.docswell.com/page/8JDKRDQ8EG.jpg) データ受領の方法 No. 方法 概要 メリット デメリット 1 メール添付 • メールに添付す る • 特別な仕組みが不要 • 非エンジニア同士でもやり やすい • 誤送信による情報漏洩リスク • パスワード別送が面倒 • 送れるデータ容量に限りがある 2 Teams格納 • Teamsチームを 作成して格納す る （SharePoint） • Teamsチームを使っていた ら比較的やりやすい • 大量のデータはフォルダ分けや アップロードが面倒 3 API • API経由で受領す る • 必要な時に最新のデータを 瞬時に受領出来る • 自動化できる • 開発・維持が必要 4 クラウドス トレージ • AWS/S3などに格 • インフラ管理が楽 • ストレージ費用が比較的安 納 価 5 データレイ ク • Snowflakeなど のデータレイク に格納 • データシェアリング機能 • 強固なセキュリティ • 権限管理が複雑 • 双方の環境が必要 • クラウド利用料 # Page. 9 ![Page Image](https://bcdn.docswell.com/page/VEPKWXLW78.jpg) どう受領するかでその後が変わる Teamsやメール受領などの場合 ✓ローカル環境にダウンロードしてExcelやローカル環境 （Pythonなど）で分析することが多い ✓BIツールにアップロードして分析することも多い クラウド環境の場合 ✓そのままクラウド環境で分析することが多い ✓そのためクラウド環境の使い方の知識が必要になる # Page. 10 ![Page Image](https://bcdn.docswell.com/page/27VV8LQ97Q.jpg) フェーズによって使い分ける 超初期フェーズ ✓「データの中身を軽く確認したい」ぐらいであれば、Teamsに よる受領とローカル環境での分析で十分耐えられる ✓むしろ、超初期フェーズで手数をかけて環境を構築するのはコ スパが悪いことも多い 初期フェーズ ✓PoCを実施するフェーズになったら、システム的な仕組みを考 えてもよい ✓例えば1ヶ月間のPoCを実施する際に、毎日データが更新され るのであれば、自動更新の仕組みを組んだ方が良い # Page. 11 ![Page Image](https://bcdn.docswell.com/page/5JGL5XW47L.jpg) フェーズによって使い分ける システム開発フェーズ ✓本格的に自動データ取得を考える 運用フェーズ ✓MLOps環境を構築して自動的にデータを受領してモデルを更新 する仕組みが必須になる ✓（ただし、モデル構築が年に1回とかでよければ、自動化は必 ずしも必要ではない） # Page. 12 ![Page Image](https://bcdn.docswell.com/page/47QYZ83REP.jpg) 環境によって使い分ける ローカル環境 ✓（最近はほとんど見ないが）ローカル環境しかないのであれば、 データを受領してローカルにダウンロードして分析する クラウド環境 ✓クラウド上で分析できる環境が構築されているのであれば、ク ラウド上で分析する # Page. 13 ![Page Image](https://bcdn.docswell.com/page/KE4W321QJ1.jpg) 探索的 データ分析 # Page. 14 ![Page Image](https://bcdn.docswell.com/page/L71Y1MGLJG.jpg) すごい細かい話（トリビア） 探索的データ分析（EDA）のもともとの英語は 諸説ある ✓Exploratory Data Analysis（探索的な） ✓Explanatory Data Analysis（説明的な） Analysisの訳も諸説ある ✓分析 → 探索的データ分析 ✓解析 → 探索的データ解析 # Page. 15 ![Page Image](https://bcdn.docswell.com/page/G7WG83KQE2.jpg) すごい細かい話（トリビア） 「分析」と「解析」の 違いってなんだ？？ とか考えると夜しか眠れない # Page. 16 ![Page Image](https://bcdn.docswell.com/page/4JZL8VZ3E3.jpg) 探索的データ分析（EDA）でやること １．データの概要理解 ✓データ型の確認 • 文字列（String）か数値（double、int）か日時か ✓データ量の確認 • レコード数（行数）と列数の確認 • ファイル数や期間の確認 ✓基本統計量の確認 • 平均値、中央値、最大値、標準偏差などの算出 • （※要約統計量などともいう） # Page. 17 ![Page Image](https://bcdn.docswell.com/page/YE6WP5ZZEV.jpg) 探索的データ分析（EDA）でやること データ型の確認 *データは「データサイエンティスト協会スキル定義委員」の 「データサイエンス100本ノック（構造化データ加工編）」を利用させていただいています https://github.com/The-Japan-DataScientist-Society/100knocks-preprocess/tree/master NotebookLMを 利用 # Page. 18 ![Page Image](https://bcdn.docswell.com/page/GE5MKYW9E4.jpg) 探索的データ分析（EDA）でやること データ量の確認 *データは「データサイエンティスト協会スキル定義委員」の 「データサイエンス100本ノック（構造化データ加工編）」を利用させていただいています https://github.com/The-Japan-DataScientist-Society/100knocks-preprocess/tree/master NotebookLMを 利用 # Page. 19 ![Page Image](https://bcdn.docswell.com/page/9729WGQ5JR.jpg) 探索的データ分析（EDA）でやること データ量の確認 *データは「データサイエンティスト協会スキル定義委員」の 「データサイエンス100本ノック（構造化データ加工編）」を利用させていただいています https://github.com/The-Japan-DataScientist-Society/100knocks-preprocess/tree/master NotebookLMを 利用 # Page. 20 ![Page Image](https://bcdn.docswell.com/page/DJY4LVW67M.jpg) 探索的データ分析（EDA）でやること ２．データの偏りや分布を可視化 ✓変数の分布確認 • ヒストグラムや箱ひげ図等を使って、データの分布を確認 ✓カテゴリの割合確認 • 棒グラフや円グラフ等を使って、カテゴリデータの各要素がどれぐ らいの割合で存在しているかを確認 # Page. 21 ![Page Image](https://bcdn.docswell.com/page/V7NY4MP1E8.jpg) 探索的データ分析（EDA）でやること 変数の分布確認 *データは「データサイエンティスト協会スキル定義委員」の 「データサイエンス100本ノック（構造化データ加工編）」を利用させていただいています https://github.com/The-Japan-DataScientist-Society/100knocks-preprocess/tree/master NotebookLMを 利用 # Page. 22 ![Page Image](https://bcdn.docswell.com/page/YJ9PQN3Y73.jpg) 探索的データ分析（EDA）でやること カテゴリの割合確認 *データは「データサイエンティスト協会スキル定義委員」の 「データサイエンス100本ノック（構造化データ加工編）」を利用させていただいています https://github.com/The-Japan-DataScientist-Society/100knocks-preprocess/tree/master NotebookLMを 利用 # Page. 23 ![Page Image](https://bcdn.docswell.com/page/GJ8DGKMKJD.jpg) 探索的データ分析（EDA）でやること ３．欠損値と異常値（外れ値）の確認 ✓欠損値の確認 • データが入力されていない箇所がどれくらいあるかを調べる ✓異常値・外れ値の確認 • 他のデータから大きく離れた極端な値を見つける • データの入力ミスやシステム不具合によるケースが想定される # Page. 24 ![Page Image](https://bcdn.docswell.com/page/LJLMGZ3PER.jpg) 探索的データ分析（EDA）でやること 欠損値の確認 NotebookLMを 利用 *データは「データサイエンティスト協会スキル定義委員」の 「データサイエンス100本ノック（構造化データ加工編）」を利用させていただいています https://github.com/The-Japan-DataScientist-Society/100knocks-preprocess/tree/master # Page. 25 ![Page Image](https://bcdn.docswell.com/page/47MYQVD27W.jpg) 探索的データ分析（EDA）でやること 異常値・外れ値の確認 NotebookLMを 利用 *データは「データサイエンティスト協会スキル定義委員」の 「データサイエンス100本ノック（構造化データ加工編）」を利用させていただいています https://github.com/The-Japan-DataScientist-Society/100knocks-preprocess/tree/master # Page. 26 ![Page Image](https://bcdn.docswell.com/page/P7R98245E9.jpg) 探索的データ分析（EDA）でやること ４．相関関係の確認・クロス集計 ✓相関関係の確認 • ふたつの変数の散布図や相関係数を確認する • ヒートマップを作成したりもする ✓クロス集計 • カテゴリデータ同士、あるいはカテゴリと数値の掛け合わせにより、 特徴的な傾向が無いかを探す # Page. 27 ![Page Image](https://bcdn.docswell.com/page/PJXQ8D2X7X.jpg) 探索的データ分析（EDA）でやること 相関関係の確認 NotebookLMを 利用 *データは「データサイエンティスト協会スキル定義委員」の 「データサイエンス100本ノック（構造化データ加工編）」を利用させていただいています https://github.com/The-Japan-DataScientist-Society/100knocks-preprocess/tree/master # Page. 28 ![Page Image](https://bcdn.docswell.com/page/3JK9KXM9JD.jpg) 探索的データ分析（EDA）でやること 相関関係の確認 NotebookLMを 利用 *データは「データサイエンティスト協会スキル定義委員」の 「データサイエンス100本ノック（構造化データ加工編）」を利用させていただいています https://github.com/The-Japan-DataScientist-Society/100knocks-preprocess/tree/master # Page. 29 ![Page Image](https://bcdn.docswell.com/page/LE3WZ5Y9E5.jpg) 探索的データ分析（EDA）でやること 原価と単価（売価）に高い相関があることは、 当たり前と言えば当たり前 生成AIはそういったことも自信満々に報告して くるので、そのままのテンションでドメイン知識 がある顧客に報告すると呆れられることもある 一方で、線形に相関がある、ということは発見 かもしれない # Page. 30 ![Page Image](https://bcdn.docswell.com/page/8EDKRD587G.jpg) 探索的データ分析（EDA）でやること 従って、探索的データ分析で出てきた結果を眺 めながら、ドメイン知識と照らし合わせて「感覚 とあっているか」をすり合わせることが大事 もし違和感があるのであれば、どのような点に 違和感があるのかを具体的にすり合わせられると なお良い # Page. 31 ![Page Image](https://bcdn.docswell.com/page/V7PKWXGWJ8.jpg) おまけ 年齢が高くなるほど購買金額が 上がる気もするが 実際はそうでもなかった 直感とは合わない 結果も大切にする NotebookLMを 利用 *データは「データサイエンティスト協会スキル定義委員」の 「データサイエンス100本ノック（構造化データ加工編）」を利用させていただいています https://github.com/The-Japan-DataScientist-Society/100knocks-preprocess/tree/master # Page. 32 ![Page Image](https://bcdn.docswell.com/page/2JVV8L69JQ.jpg) 探索的データ分析（EDA）の本質 探索的データ分析では、「探索的」という名称 の通り、最初から綺麗な正解を求めずに、地道に データを探索していく心意気が大事 少しエモい言い方をすると… データと対話する # Page. 33 ![Page Image](https://bcdn.docswell.com/page/5EGL5XN4JL.jpg) Thank You !!