猫でも分かるのページ一覧
0-1
自己紹介
新宿猫で話題のビジョンにて
明治大学の錯視広告プロジェクト
の共同メンバー（企画・広報とか）
錯視広告をWeb上でVRで試せる
アプリの企画開発者です…
これ→
FMS×錯視広告体験
LLMチャットボットの動作
吾輩は猫であるをEmbedするのに必要なコスト
350k文字 ≒ 350k tokens
Ada v2の場合､350 x $0.0004 = $0.14 ≒ 20円
(払えなくはない値段設定｡ただし､60回/minの制約が遅い)
実験①:概要
①ヘッドフォンでメトロノームを再生
②計算問題に回答
③文章を音読
•
•
•
•
•
坊ちゃん
吾輩は猫である
女学生
トロッコ
注文の多い料理店
1-4
画像認識AIと物体検出AI
分類
猫です
のみ
画像認識
Image classification
検出
赤枠に
＋
猫がいます
分類
物体検出
Object Detection
55%
飼う
学習時の⼊⼒⽂の⼯夫
吾輩は猫である。名前はまだない。
43%
撫でる
2%
食べる
Output Probabilities
softmax
Linear
Pre-train
Layer Norm
+
x12
Feed Forward
START 吾輩 は 猫 である 。 DEL...
試み: 不足しているドメインを合成データで補填する
不足しているドメインのデータを合成して補填
100-200 Bトークンと膨大なサイズなので､人手での作成はほぼ不可能
○ 100 B = 1011トークンは「吾輩は猫である」60...
試み: 不足しているドメインを合成データで補填する
不足しているドメインのデータを合成して補填
100-200 Bトークンと膨大なサイズなので､人手での作成はほぼ不可能
○ 100 B = 1011トークンは「吾輩は猫である」60...
テキストの表現を増やした場合
多角的な視点(トークン)で文章を記述すると､モデルの回答性能が向上
• 学習する文章:
• 「吾輩は猫である」
• 「Q: あなたは何者ですか? A: 猫ですよ｡」､「私は猫です」､…
• 教科書風...
従来の機械学習手法を用いた画像認識手法では、特徴量の設計がかなり大変になります。
画像の「線の曲がり早合」や「小さな領域の明暗」「輸部」を数値化するような学習デー
タを準備しなければいけません。
さらに...
教師なし学習のニュース (2011年）
• 教師なし学習（この画像が「人の画像である」，「猫であ
る」という正解がない）
• 訓練データ: YouTube からランダムに選ばれた画像 1000万枚
• 1000台のマシンで，3日間の学...
大規模言語モデル
与えられたテキストに対して確率的に応答する存在
いい天気ですね (70%)
パソコンの調子が悪いです (3%)
猫である (1%)
53khalrkkj (0.0001%)
こんにちは､今日は
入力
大規模言語モデル
出力...
人間
与えられた諸情報に対して確率的に応答する存在
いい天気ですね (70%)
パソコンの調子が悪いです (3%)
猫である (0.001%)
53khalrkkj (0.0000001%)
(+筋肉等の運動)
こんにちは､今日は
(+五感)
入力
脳+身...
大規模言語モデル
与えられたテキストに対して確率的に応答する存在
いい天気ですね (70%)
パソコンの調子が悪いです (3%)
猫である (1%)
53khalrkkj (0.0001%)
こんにちは､今日は
入力
大規模言語モデル
出力...
人間
与えられた諸情報に対して確率的に応答する存在
いい天気ですね (70%)
パソコンの調子が悪いです (3%)
猫である (0.001%)
53khalrkkj (0.0000001%)
(+筋肉等の運動)
こんにちは､今日は
(+五感)
入力
脳+身...
prompts:
- file://prompt/prompt1.json
- file://prompt/prompt2.json
用意するプロンプトはよく見る
下記の形
[
{
"role": "system",
"content": "あなたは猫です。{{topic}}の内容について面白おかしく雑学を言...
キーワード検索
● ElasticSearch、RDBMS
● 転置インデックス + TF-IDF / BM25
検索キーワード: 猫
吾輩は猫である
文字列が一致するものを探す
⾳声⽣成AI（⾳声合成）
• ⽂章から⾳声を⽣成するAI
• サービス名など
• WaveNet
• VOCAROID 6
• VoiceBox
「吾輩は
猫である。
名前は、
まだ無い。」
AI
• エンタメでの活躍
• ⾳楽配信
• ゲーム実況
• アナ...
⽂章⽣成AI（対話式AIを含む）
• ⽂章から⽂章を⽣成するAI
• サービス名など
• ChatGPT
• Llama 2
吾輩は猫であるを
⽝に変えて
出だしを
書いてください
• エンタメでの活躍
AI
「吾輩は
⽝である。
⽑並みは...
Japanese Input Method
-Roman to Kana-Kanji Converter• Flow
1. Receive the Romanized alphabets
①n
ekodesu
2. Convert the Romanized alphabets
②ねこです
into Kana using Roman-to-Kana table
3. Convert...
２．調査結果
※
所 出
蔵 版
が 地
な の
い 自
治
体
で
あ
る
犬
山
市
立
図
書
館
に
は
■
■
■
横 国 国 公 専 松 ノ 名 帝 千 椙 島 京 海 大 北 豊 常 富 浦 滝 沖 愛 宮 公
浜 立 際 益 門 山
古 塚 葉 山...
エポック数だけを増やした場合
与えられた文章の丸暗記は可能だが､質問に対する回答が困難
• 学習する文章:
• 「吾輩は猫である」
• モデルが答えられる内容
• 「吾輩は」 → 「猫である」
• モデルが答えにくい質...
これは、開発者が複雑な問題に集中できるようにするための手助け
実際の応用例
画像処理ライブラリであるTorchvisionでは、データセットを扱う際の共通の操作を提供する
例えば、Torchvisionの transforms モジュー...
Q. LoRAの限界はどのあたりにあるか?
• A. 学習可能なデータ量に限界(?)
• 7bモデルの場合
• 学習に必要なパラメータ数が元の1/1000とすると
• 追加モデルサイズ = 7 x 2 /1000 GB = 14 MB
• 全角文字は2byteなので...
import torch
import torchvision.transforms as transforms
from torchvision import models
from PIL import Image
# 事前トレーニング済みのResNet50モデルをロード
model = models.resnet50(pretrained=True)
mo...