---
title: 【DL輪読会】HyperSeg: Towards Universal Visual Segmentation  with Large Language Model
tags: 
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/Y76QKD9P7V.jpg?width=480
description: 【DL輪読会】HyperSeg: Towards Universal Visual Segmentation  with Large Language Model by Deep Learning JP
published: February 13, 25
canonical: https://www.docswell.com/s/DeepLearning2023/K3GLQL-2025-02-13-124235
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/Y76QKD9P7V.jpg)

DEEP LEARNING JP
[DL Papers]
HyperSeg: Towards Universal Visual Segmentation
with Large Language Model
国際航業（株）
林
http://deeplearning.jp/
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/G75RP3NPE4.jpg)

書誌情報
• タイトル：HyperSeg: Towards Universal Visual Segmentation with Large
Language Model
• 投稿先：arxiv(2024年11月末)
• Code：https://github.com/congvvc/HyperSeg
– 学習コードはまだ未公開（公開予定あり）
• 選定理由：
– マルチモーダル（特に言語と画像のフュージョン）に興味
– 様々がタスクに通用するネットワークで対応
– 様々なbenchmarkで高精度を示した


# Page. 3

![Page Image](https://bcdn.docswell.com/page/9J2D6Z5ZJR.jpg)

概要
• 様々なpromptに従った多種類のsegmentationタスクを1つのモデルで対応
– Visual Large Language Models (VLLMs)より、言語に関する知識を習得
– temporal adapterを提案し、時系列情報を理解して動画にも対応


# Page. 4

![Page Image](https://bcdn.docswell.com/page/DEY29RKNEM.jpg)

本手法が対応するpromptの種類
• text prompts
– class names, reasoning questions, referring languages
• visual prompts
– box, mask, pointなど


# Page. 5

![Page Image](https://bcdn.docswell.com/page/VJN8LDRV78.jpg)

関連研究
• VLLM
– 通常は画像のコンテンツを描写する文書を出力。画素レベルの認識に対応不可
– 代表的な手法：BLIP-2, Flamingo, MiniGPT-4, LLaVA, InstructBLIP , Qwen-VL等
• Perception with VLLM
– bboxをpromptとして与えて、grounding能力を示した
– mask decoderをつけることでsegmentationも可能
– PSALMが初めてVLLMを導入したが、VLLMの性能を十分に引き出せていない
• Unified segmentation model
– Mask2formerはunifiedネットワークで様々なsegmentationタスクに対応できるが、
タスク毎に学習する必要がある
– OpenSeeDはtext encoderを追加し、Open-Set settingに対応。UNINEXT類似する
構造でreferring segmentationに対応。ただし、複雑な文書への対応が困難


# Page. 6

![Page Image](https://bcdn.docswell.com/page/YE9K4GMVE3.jpg)

提案手法のネットワーク概要
• ネットワーク構成：vision encoder, VLLM, segmentation predictor
• 入力：vision-prompt pairs 𝒱, 𝒫
• 出力：入力promptに応じたsegmentation masks, class scores, instance embedding（動
画の場合）


# Page. 7

![Page Image](https://bcdn.docswell.com/page/GE8RQVL4JD.jpg)

Prompt design
• モデルの入力：vision-prompt pairs 𝒱, 𝒫
• prompt 𝒫をtext / visual promptに分類
– 𝒫ℒ : どのようなタスク(instruction)
– 𝒫𝒞 : 具体的なタスク条件
– visual promptは、その座標でCLIP visual特徴量からsampling
大項目
具体的なタスク
prompt例
class-based
segmentation
•
•
•
panoptic segmentation
open-vocabulary segmentation (OVS)
video instance segmentation (VIS)
𝒫ℒ : “Please segment all the positive objects according to the following
potential categories.”
𝒫𝒞 : “[category 1, category 2, category 3, ...]”
referring and
reasoning
segmentation
•
•
•
•
referring expression segmentation (RES)
𝒫ℒ : “Can you perform referring or reasoning segmentation according
reasoning segmentation
to the language expression?”
referring video object segmentation (R-VOS) 𝒫𝒞 : “[referring / reasoning text]”
ReasonVOS
visual-guided
segmentation
•
•
interactive segmentation
video object segmentation (VOS)
𝒫ℒ : “Please segment according to the given visual region reference”
𝒫𝒞 : “[vision 1, vision 2, vision 3, ...]”.


# Page. 8

![Page Image](https://bcdn.docswell.com/page/LELKX5LVJR.jpg)

Vision Encoder
• 従来手法は、CLIPのvisual encoderの特徴のみ利用することが多い
– 課題：粒度が高いsegmentationタスクに対して情報が不十分
• Fine-grained Visual Perceiver（FVP）を提案し、粒度の高いvisual情報を
抽出（VLLMの入力とする）
– pyramid vision encoderにより異なるスケールの特徴を抽出
(𝑖)
– 各スケール特徴𝑓𝑖𝑚𝑔 とfined-grained token 𝑃𝑗 を条件付き重み付きcross-attentionに
より、情報を集約


# Page. 9

![Page Image](https://bcdn.docswell.com/page/4JM2L3MNJW.jpg)

Visual Large Language Model
• VLLMは既存モデルを利用
– visual encoder(CLIP)と軽量化のLLMで構成
• LLMの入力：
– vision token 𝑓𝑣 : CLIP encoderの出力から取得（画像全体のvisual情報）
– fined-grained token 𝑃： FVPの出力
– prompt token 𝒫
• LLMの出力
– prompt embedding
– semantic recognition
– mask tokens
– fine-grained tokens
segmentation
predictorに入力


# Page. 10

![Page Image](https://bcdn.docswell.com/page/PJRMKQV4E9.jpg)

Hybrid Entity Recognition
• LLMを介したsegmentationは3つの流派
① クラスとマスクをLLMが生成：漏れや誤検出が多い傾向
② クラスとマスクをmask decoderが推定(LLMがprompt tokenをembedする役
割):LLMの強力なセマンティックな能力を活かさず
③ 本論文はハイブリッドな方式を提案：prompt embeddingをdecodeする。入力画
像にあるすべての物体のクラスとそのmask tokenを別々で生成
• mask tokenと対応するsemantic情報を取得


# Page. 11

![Page Image](https://bcdn.docswell.com/page/PEXVL5ZZ7X.jpg)

Segmentation predictor
• 基本構造は、Mask2Formerを採用
– 3つの入力でmaskと分類scoreを推定
𝐾
• task-specific prompt embedding 𝐸𝒫𝑘 𝑘=1 , 𝐾 =カテゴリー数
• semantically enhanced mask tokens
𝑗 𝑁
𝐸𝒬
, 𝑁 =mask推定個数
𝑗=1
• multi-scale visual features 𝑓𝑖𝑚𝑔
– 動画を扱う場合、instance embedding 𝑒を推定
• 動画は、フレーム毎にsegmentationを実施


# Page. 12

![Page Image](https://bcdn.docswell.com/page/3EKQL68VED.jpg)

Temporal Adapter
• 動画を処理する場合、フレーム間の整合性をとる必要がある
• 本論文は、global prompt aggregationとlocal space-time information
injectionを提案
– 前の全フレームのprompt embeddingをpooling
– 前の1枚フレームのfine-grained tokenから更新


# Page. 13

![Page Image](https://bcdn.docswell.com/page/L73P36MQE5.jpg)

学習目的関数
• 各タスクに共通するloss関数で学習
– ℒ𝑡𝑒𝑥𝑡 : autoregressive cross-entropy loss for text prediction
• 論文中詳細は言及せず。Supplementaryの情報から、image captionやVQAのようなタスクで
visual-languageの理解を保持（？）
– ℒ𝑚𝑎𝑠𝑘 : mask推定loss
– ℒ𝑐𝑙𝑠 : カテゴリー分類cross entropy loss
– ℒ𝑖𝑛𝑠 : contrastive loss for instance association（動画の場合）


# Page. 14

![Page Image](https://bcdn.docswell.com/page/87DL4V6WEG.jpg)

実験設定
• 合計10個のタスクを同時に学習
– 各タスクは約16k iterationを学習
– VLLMはMipha3Bを採用。LLM部分の学習はLoRA採用
• LLMはPhi-2-2.7Bを採用。Visual encoderはSigLIPを採用
– Segmentation predictorはMask2Formerを採用
– 8 NVIDIA A100 GPUsで学習（batch size=32）


# Page. 15

![Page Image](https://bcdn.docswell.com/page/VJP2MVYXJ8.jpg)

実験結果- Referring expression segmentation
• RefCOCO/+/gにおいて、SOTAを達成
• 更に難しいgeneralized referring expression segmentationでも有効
– Zero-shot形式で評価


# Page. 16

![Page Image](https://bcdn.docswell.com/page/2EVD9ZG3EQ.jpg)

実験結果-Reasoning segmentation
• 動画と画像ドメインにおいて、SOTAを達成


# Page. 17

![Page Image](https://bcdn.docswell.com/page/57GYZ48Y7L.jpg)

実験結果-Generic image segmentation
• closed-set and open-vocabulary segmentation両方に効果を確認


# Page. 18

![Page Image](https://bcdn.docswell.com/page/4EQMLG96JP.jpg)

実験結果-Common video segmentation
• 具体的には、visual-prompted semi-supervised VOS (DAVIS17), textprompted referring video object segmentation (Ref-YouTube-VOS, RefDAVIS17), video instance segmentation (YouTube-VIS 2019)で評価


# Page. 19

![Page Image](https://bcdn.docswell.com/page/KJ4VD5XME1.jpg)

実験結果-Ablations
• 複数タスクの同時に学習することで、モデル性能を向上
– 特に動画segmentationタスクにおいて、画像segmentationも学習する効果が大きい
• 提案手法は別のLLMでも効果を発揮


# Page. 20

![Page Image](https://bcdn.docswell.com/page/LE13ZWNYJG.jpg)

実験結果-Ablations
• 提案のFVPとHERの有効性を確認
• 動画に対し、global prompt aggregation（全フレーム情報のpooling）と
local space-time information injection（前1フレームの情報を更新）の効
果を確認


# Page. 21

![Page Image](https://bcdn.docswell.com/page/GEWP9641J2.jpg)

まとめ
• VLLMを利用し、様々なsegmentationタスクを一つのモデルで対応でき
る手法を提案
– 異なるスケールのvisual情報を利用
– VLLMの出力形式に工夫
– 画像と動画両方に対応可能。特に画像関連の複数タスクでは、SOTAを達成
• 所感
– 既存のモデルをうまく組み合わせて、様々なタスクを一つ比較的に小さいモデ
ルで対応
– Mask2Formerの形に合わせてLLMを組み合わせた気もしなくない