---
title: 【DL輪読会】MoAI: Mixture ofAll Intelligence for Large Language andVision Models
tags: 
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/LE3RK5KG75.jpg?width=480
description: 【DL輪読会】MoAI: Mixture ofAll Intelligence for Large Language andVision Models by Deep Learning JP
published: April 04, 24
canonical: https://www.docswell.com/s/DeepLearning2023/K38X7Y-2024-04-04-132557
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/LE3RK5KG75.jpg)

DEEP LEARNING JP
[DL Papers]
MoAI: Mixture of All Intelligence
for Large Language and Vision Models
Kim Yongmin, M2, Yamashita・An Lab, The University of Tokyo
http://deeplearning.jp/
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/8EDY3D3NEG.jpg)

書誌情報
§ タイトル: MoAI: Mixture of All Intelligence for Large Language and Vision Models
§ 著者: Byung-Kwan Lee, Beomchan Park, Chae Won Kim, and Yong Man Ro
§ 所属: Korea Advanced Institute of Science and Technology (KAIST)
§ 発表⽇: 2024/03/12 (arxiv)
§ 概要: VLMに外部のCVモジュールから多様な視覚的な情報を活⽤して，精度を向上
§ 選定理由: 複数の⼩さい外部モジュールを融合して，精度を⼤幅に向上して，話題
新しいパラダイムになる可能性あり
§ 実装: https://github.com/ByungKwanLee/MoAI
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/V7P64X4NJ8.jpg)

概要
§ 既存のVLMは画像中にある詳細な情報を捉えるのが苦⼿
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/2JV3XLXYEQ.jpg)

概要
§ 本研究では複数の外部のCVモジュールを内部に打ち込んで，効率的（MoE)に⽤いて，性能を向上
§ ⼩さいCVモジュールを融合することで，Open-sourceモデルでSOTAを達成．
§ Closed モデルにおいても，⼀部のベンチマークではSOTAを達成
各種ベンチマークの性能評価
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/5EG3VXVW7L.jpg)

⼿法
§ 今回の⼿法は⼀つのモジュールではなくて，複数のモジュールを効率的(MoE)に内部に融合
特徴融合
＆
VLM本体
画像特徴部
⾔語特徴部
CV
モジュール部
モデルの全体図
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/4JQ5686Q7P.jpg)

⼿法
§ 画像および⾔語の基盤モデル
§ Vison Backbone: CLIP-L/14
§ Language Backbone: InternLM-7B
CLIP-L/14
InternLM-7B
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/K749424YE1.jpg)

⼿法
§ CVモジュール
§ Panoptic Segmentation (PS) (Instance Segmentation + Segmentation)
§ Open-World Object Detection (OWOD)
§ Scene Graph Generation (SGG)
§ Optical Character Recognition (OCR)
§ CVモジュールの出⼒を全て，⾔語化(Verbalization)して，⾔語トークンモとしてモデルに挿⼊
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/LJ1K4M4N7G.jpg)

⼿法
§ Panoptic Segmentation (PS) – Mask2Former (model size: 106M)
§ 物体の位置情報
Bounding Box
抽出
結果の⾔語化
𝐴!"
Auxiliary Token
Segmentation結果を
Flattenして挿⼊
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/GJWDX3ZM72.jpg)

⼿法
§ Open-World Object Detection (OWOD) – OWLv2 (model size:154M)
§ PSモデルは検出可能な物体クラスに限界が存在
→ PSモデルで検出できなかったものを検出して，補助
結果の⾔語化
𝐴#$#%
OWODのAuxiliary Token
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/4EZG6V1MJ3.jpg)

⼿法
§ Scene Graph Generation (SGG) – panoptic SGG (model size: 44M)
§ 画像中にあるものらの関係情報
結果の⾔語化
𝐴"&&
SGGのAuxiliary Token
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/Y76Y25L5EV.jpg)

⼿法
§ Optical Character Recognition (OCR) – PaddleOCRv2 (model size: 18M)
§ 画像の中にあるテキスト情報
結果の⾔語化
𝐴#'(
OCRのAuxiliary Token
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/G75G2Y1G74.jpg)

⼿法
§ これらのAuxiliary Tokensを𝐴(固定⻑)に圧縮して，MoAI-Mixer (VLMの本体) に挿⼊
§ MoAI-Compressor: Transformer Encoder, 𝐴)*+,- : Compressed Learnable Tokens (固定⻑)
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/9J2Y4G1DJR.jpg)

⼿法
§ ⼊⼒は𝐴, 𝐼𝑀𝐺, 𝐿𝐴𝑁𝐺3つが存在
§ この3つの組み合わせるExpertモジュール (Cross Attention, Self-Attention)
をそれぞれの6つ採⽤ 例）AUX(k/v) + IMG(q) → 𝐼./0 , IMG(k/v) + LANG(q) → 𝐿12&
§
Expertを明⽰的に定義*
画像特徴
⾔語特徴
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/DEYGMVZMEM.jpg)

⼿法
§ これらの6つのExpertを⾔語と画像に分けて，Mixture of Expert (MoE)で選択
§ MoEで出⼒されたものをTransformer Decoder Blockに挿⼊
§ Transformer Decoder BlockにはLoRAを⽤いて，軽量化
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/VJNGWM3378.jpg)

⼿法
§ Visual Instruction tuningで訓練
§ 学習の安定化のために2つのステップに分けて訓練
1. MoeのGating Networkは訓練せず，各Expertをサンプリングして，全てのExpertを学習
2. MoEのGating Network込みで全体を訓練する
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/YE9WXN9PE3.jpg)

実験結果
§ 各種ベンチマークでの結果 (Zero-shot)
§ 全てのデータセットでの評価でOpen VLMsの中でもっともいい性能（
は例外）
§ ⼤きいサイズモデルと⽐較しても，性能がいい
代表的なVLMs
InternLM-7B
ベースのVLM
提案⼿法
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/GE8N2K9X7D.jpg)

実験結果
§ もっと⼤きいモデルとClosedモデルらとの⽐較 (Zero-shot)
§ 複数のベンチマークで，もっと⼤きなモデルとClosedモデルらに対しても，⾼い性能を達成
ス
コ
ア
パラメータ数
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/LELP2ZWN7R.jpg)

実験結果
§ Ablation Study
位置情報 X
関係情報 X
⽂字情報 X
提案⼿法
§ Ablation項⽬
§ PS+OWOD: Existence，RecognitionとLocalizationが⼤幅に減少
(ものがあるかないか，認識)
§ SGG: PositionとSpatialが⼤幅いに減少
(空間配列)
§ OCR: OCRとTT(Text Translation)が⼤幅に減少
(⽂字認識)
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/4JM48V9Q7W.jpg)

実験結果
§ Ablation Study
§ Ablation項⽬
§ Training step choice
§ First: MoEをランダムサンプリングして訓練
§ Second: Moeとモデルを同時に訓練
§ Combined: First → Second
§ Selecting Top-k Experts: MoEで何個のExpertを採⽤するか
§ Gating network weights: MoeのGate Networkの重み
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/PJRW52GK79.jpg)

実験結果
§ 実際の例
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/PEXPKDX57X.jpg)

まとめ
§ 外部のCVモジュールを融合することで，効率的に精度を⼤幅に向上
§ モデルサイズと⼤規模なデータセットより，シーンの精密な理解することがもっと重要
§ ものを正確に認識して，それらの関係を把握することがキーポイント
§ もっと多様なモジュールを融合することを期待
21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/3EKD5XWRJD.jpg)

感想
§ Model Mergingの相違点
§ 異なる構造を持ったモデルらを結合することが可能
§ 学習コストが⾼いが，もっと多様性のあるモデルが作成可能
§ モデルMergingより，説明性が⾼い
§ あるドメインに特化した⼩規模なモデルを融合することが新しいパラダームになる可能性が⾼い
§ VLMだけではなく，LLMドメインでの研究[Bansal+ 2024]
22


# Page. 23

![Page Image](https://bcdn.docswell.com/page/L73RK51GJ5.jpg)

参考⽂献
§ [2024 Bansal+]: R. Bansal et al., “LLM Augmented LLMs: Expanding Capabilities through Composition.” arXiv,
Jan. 04, 2024. Accessed: Jan. 11, 2024. [Online]. Available: http://arxiv.org/abs/2401.02412
23