---
title: 【人工知能・深層学習】論文紹介：In-Context Learning Creates Task Vectors
tags:  #論文紹介 #deeplearning #人工知能 #深層学習 #llm  
author: [Shunsuke Yasuki](https://www.docswell.com/user/snskysk)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/LE3R1DDG75.jpg?width=480
description: 【論文の学術分野】：Computation and Language 【論文正式名称】：In-Context Learning Creates Task Vectors 【原論文のリンク】：https://arxiv.org/abs/2310.15916 【論文投稿日付】：2023/10/24  【概要】：モデルが、パラメータの変更・調整（いわゆる学習）無しに、入力に含まれるルールを捉えることIn-Context Learningと呼びます。この論文は、単純で秀逸な実験によりこの現象の解明を試みるものです。具体的には、タスクベクトルという概念を定義し、それらの存在を示し、効力を測定、可視化しています。  【注意書き】：解釈に誤りがある可能性がありますので、ご参考いただく際はご注意ください。資料の転用は禁止しております。
published: April 26, 24
canonical: https://www.docswell.com/s/snskysk/KDEPDL-2024-04-26-020912
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/LE3R1DDG75.jpg)

論文紹介
In-Context Learning Creates Task Vectors
モデルが、パラメータの変更・調整（いわゆる学習）無しに、入力に含
まれるルールを捉えることIn-Context Learningと呼びます。
この論文は、単純で秀逸な実験によりこの現象の解明を試みるものです。


# Page. 2

![Page Image](https://bcdn.docswell.com/page/8EDYXPPNEG.jpg)

論文紹介
2024/01/23
立教大学人工知能科学研究科 瀧雅人研究室D1 安木 駿介


# Page. 3

![Page Image](https://bcdn.docswell.com/page/V7P6PNNNJ8.jpg)

目次
• 論文概要
• 研究の振り返り
• 研究背景
• 研究の観点
• 検証
• 議論
• まとめ
2


# Page. 4

![Page Image](https://bcdn.docswell.com/page/2JV32KKYEQ.jpg)

論文概要


# Page. 5

![Page Image](https://bcdn.docswell.com/page/5EG3RQQW7L.jpg)

論文概要＞論文タイトル・貢献
論文タイトル
• In-Context Learning Creates Task Vectors
原論文「https://arxiv.org/abs/2310.15916 」
貢献1
• ICLのメカニズム的な見方の提案
貢献2
• 公開されている様々なLLMと多様なタスクセットでの検証
4


# Page. 6

![Page Image](https://bcdn.docswell.com/page/4JQ5VKKQ7P.jpg)

論文概要＞In-Context Learningとは？
Q. ICL（In-Context Learning）とは？
Input
Output
Apple→Red
Lime→Green
Corn→
A.
Yellow
LLM
パラメータの変更・調整（いわゆる学習）無しに、
モデルが入力に含まれるルールを捉えること。
5


# Page. 7

![Page Image](https://bcdn.docswell.com/page/K749MPPYE1.jpg)

なぜこんなことが起こるのか？
→論文はこの答えを探求している


# Page. 8

![Page Image](https://bcdn.docswell.com/page/LJ1K899N7G.jpg)

研究アプローチ
疑問点と研究アプローチ
疑問点
ICLの背後には
どんなメカニズムがあるのか？
※
さらに言えば、経験的リスク最小化
（Empirical Risk Minimization）。
書籍
仮説h＝入力xを出力yに
マップする関数
仮説H＝真の法則
仮説Hの空間
研究アプローチ
統計的学習理論の仮説クラスの概念
(※)を利用してアプローチ。
データ生
成分布D
仮説h
PDF
経験的リスク最小化
m個のサン
プリング点
真の法則（仮説H）や分布Dがわからずとも、
m個のサンプリングから経験的に損失を最小化し、
入力xを出力yにマップする関数（仮説h）を見つけること。
ややこしく聞こえるが、結局は、ICLの現象も通常の学習
の常識で考えられるのでは？という切り口。
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/GJWDZQNM72.jpg)

検証の目標
検証の目標理解
Input
Output
Apple→Red
Lime→Green
Corn→
Yellow
LLM
右下図のように解釈できる
アルゴリズム
ベクトルθ(S)を計算
（デモデータS）
≒ルール関数を獲得
Input
クエリx
クエリxに
ルール関数を適用
検証の目標
Input＝デモデータS＋クエリxと考えた時、
Sのみからルール関数を獲得し、xに適用できるかを確認したい。
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/4EZG1W3MJ3.jpg)

仮説
著者らの仮説
アルゴリズム
ベクトルθ(S)を計算
（デモデータS）
≒ルール関数を獲得
Input
クエリx
クエリxに
著者らの仮説
ICLは2つのステップから構成されると考える。
A. デモデータSに基づきベクトルθを計算する（ルールを抽出）
ルール関数を適用
検証の目標
B. ベクトルθで定義されるルールをクエリxに適用する
Input＝デモデータS＋クエリxと考えた時、
Sのみからルール関数を獲得し、xに適用できるかを確認したい。
Apple→Red
Lime→Green
Corn→
Output
Yellow
LLM
・・・
Layer
Layer
Layer
Layer
Shallow
・・・
B
Output
Input
Layer
LLMのフォワードパスでは、Sとxが二つの要素とし
てうまいこと分解されているのか？検証しよう。
Input
x
S
A
Layer
浮上する疑問点
L番目 Layer
Transformer内で上記が実行される場合、その単純な方法は以下。
L番目までのレイヤーでAが行われ、以降でBが行われるというもの。
Deep
しかし、実際にはどの層でもSとxにアクセス可能であるため、
仮説の妥当性は不明である。
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/Y76YLGX5EV.jpg)

仮説の検証
仮説の検証のための、フォワードパスの変形
現状では、Sとxを同時に入力する。
そのため、A（ルール抽出）とB（ルール適
用）のステップの存在を確認できない。
クエリx(Corn)の代わりにダミークエリx’(Plum)を用意。Plumに続く「→」のL
層における表現「θ」ベクトルを獲得。その後「Corn→」のみの入力のL層にて、
11
「→」のL層表現を先の「θ」ベクトルに置き換え、Aとfの処理を独立させる。


# Page. 12

![Page Image](https://bcdn.docswell.com/page/G75G1VXG74.jpg)

仮説の検証
仮説の検証：先の変形プロセスで、18のタスクを実施
18のタスク。アルゴリズム、翻訳、言語学的タ
スク、知識タスクと、4ジャンルに大別される。
計画した実験の結果は、通常実験の結果に迫る高い性能を
示した。これは、Aとfの分離が、ICLの基礎となるプロセス
の経験的な近似といえることを示している。
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/9J2Y13XDJR.jpg)

発見
レイヤーとタスクベクトルに関する興味深い発見
最適なL番目のレイヤーは、モデルの層数やパラ
メータ数が異なっても、おおよそ同じような中
間レイヤーとなった。
t-SNEによるタスクベクトル
の可視化。タスクごとにまと
まりがある。
類似タスク同士（例えば仏英
と西英の翻訳）のベクトルの
特徴は近い。
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/DEYGZ18MEM.jpg)

追加検証
異なる実験による、主張の補強
図：相反するタスクの実験。通常シナリオ（上）では、モデルにはタスクA（例えばアルファベットの前の文字を出力する）の
ためのデモンストレーションSAが単純に提供される。
競合シナリオ（下）では、モデルにはタスクAのデモンストレーションが提供されるが、競合タスクB（例えばアルファベット
の次の文字を出力する）からのタスクベクトルθ(SB)を注入する。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
Regular Task A:
デモ＝A用
Conflicting Task B:
デモ＝A用、タスクベクトルθはB用のもの。
表2：競合タスクの実験結果。
両シナリオの関連タスク（「通常」のA、「競合」のB）に対するモデルの精度が表示されている。
通常タスクAと相反タスクBを用意。例：リストタスク。[c,d,b,a,e]
通常タスクA：デモデータS＝A用のもの
相反タスクB：デモデータS＝A用のもの。タスクベクトルθはB用のもの。
→ 結果、Aは当然高いとして、Bも結構高くなった。
このモデルが主にθに依存しており、タスクAのための実証Sをほとんど無視してい
ることを示唆している。
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/VJNG32Q378.jpg)

ベクトルθについて
ベクトルθの解釈・保有情報
学習されたベクトルθは、S（デモデータ）が示すタスクに関する情報
を直感的に捉える。
=========abst より=========
ICLはSを1つのタスクベクトルθ(S)に圧縮し、このタスクベクトルを用
いてTransformerを変調し、出力を生成すると見ることができる。
========================
θはTransformerの中間的な隠れた状態なので、vocabulary
projection method（語彙投影法、nostalgebraist, 2020; Dar et
al.）により、隠れた状態によって誘導される語彙上の分布の上位トー
クンを調べる。
ベクトルθは、パラメータの変更無しに少ないデモデータのみか
ら計算されるのにもかかわらず、アウトプットには直接現れな
15
いようなタスク関連情報を保持している。


# Page. 16

![Page Image](https://bcdn.docswell.com/page/YE9W91DPE3.jpg)



