---
title: [輪読会]Multilingual Image Description with Neural Sequence Models
tags:  #deep learning  
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/8EDDRM66EG.jpg?width=480
description: 2016/9/9 Deep Learning JP: http://deeplearning.jp/seminar-2/
published: September 12, 16
canonical: https://www.docswell.com/s/DeepLearning2023/KRXYX1-multilingual-image-description-with-neural-sequence-models
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/8EDDRM66EG.jpg)

輪読 :
MULTILINGUAL IMAGE DESCRIPTION WITH
NEURAL SEQUENCE MODELS
h6p://arxiv.org/abs/1510.04709


# Page. 2

![Page Image](https://bcdn.docswell.com/page/V7PXWQZZE8.jpg)

書誌情報
Title: MULTILINGUAL IMAGE DESCRIPTION WITH NEURAL SEQUENCE
MODELS
• Author: Desmond Ellio6, Stella Frank, Eva Hasler
• AffiliaTon: University of Amsterdam, Cambridge
• URL: h6p://arxiv.org/abs/1510.04709
•
•
ICLR’16 不採録
•
概要 : MulTlingual Image DescripTon
– ある画像に対して言語Aのキャプションを生成するとき，言語Bの情報も使う


# Page. 3

![Page Image](https://bcdn.docswell.com/page/2JVL85WM7Q.jpg)

MoTvaTon
•
関連研究 : キャプション生成
– 入力画像に対して，その画像の説明文を生成する
– 画像とその画像に対するキャプションのデータを利用して学習
•
この論文の主題
– ある画像に対して，言語Bでキャプションを生成するとき，言語Aでのキャプションを生か
すことができるか?
– MulTlingual Image DescripTon


# Page. 4

![Page Image](https://bcdn.docswell.com/page/5EGX56DXJL.jpg)

Approach
•
MulTlingual mulTmodal language model
•
ターゲットのキャプションを生成するのに，以下の2つの特徴量を使う
– monolingual source-language image descripTon model
– visual features from an object recogniTon model


# Page. 5

![Page Image](https://bcdn.docswell.com/page/4JQ8Z4157P.jpg)

モデル : Recurrent Language Model (LM)
•
RNNである単語を入力したとき，次の単語を予測するように訓練
– 入力 w_i (あるステップiにおいて)


# Page. 6

![Page Image](https://bcdn.docswell.com/page/K7423QRVJ1.jpg)

モデル : MulTmodal Language Model (MLM)
•
画像の情報をLMに組み込む
– 画像特徴量で条件付ければ良い
– 一つの方法 : h_0 の計算をする際に画像特徴量を入れる
•
各タイムステップで画像特徴量を入れると， overfidng するという研究報告が複数ある


# Page. 7

![Page Image](https://bcdn.docswell.com/page/LJ1M1PQ4EG.jpg)

モデル : TranslaTon Model (Source-LM → Target-LM)
•
画像の情報をの代わりに，source language modelで条件付


# Page. 8

![Page Image](https://bcdn.docswell.com/page/GJW382MZJ2.jpg)

モデル : MulTlingual MulTmodal Model (Source-MLM →
Target-MLM)
•
画像とsource language model両方使う


# Page. 9

![Page Image](https://bcdn.docswell.com/page/4EZV8DQLJ3.jpg)

NMT (Neural Machine TranslaTon) モデルとの違い
•
NMT
– (翻訳元言語, 翻訳先言語) のペアで学習
•
このモデル
– データセットの扱いがより柔軟 (言語のペアを用意しなくても良い)
– source-language modelとtarget-language modelは別々のものでも良い
•
e.g. sequense-to-sequense, encoder-decode, …


# Page. 10

![Page Image](https://bcdn.docswell.com/page/Y765P16MEV.jpg)

実験 : 使用したデータ
•
データ : IAPR-TC12
–
–
画像数 : 20000
英語のキャプションと，対応するドイツ語訳
–
–
–
17,665枚を訓練に利用
英語 : 272,172 トークン (語彙数 1763)
(出現頻度3以下は除去)
ドイツ語: 223,147 トークン (語彙数2374)
–
画像特徴量はVGG-16を利用して抽出


# Page. 11

![Page Image](https://bcdn.docswell.com/page/G75YK46Q74.jpg)

実験 : 結果
•
Baselin
MLM : Monolingual Language Model
(MulTmodal Language Model
without source language features)
LM → LM : no image
MLM よりも LM→LMの方が良い
ドイツ語のキャプション生成結果
(全体的に英語より難しい)
sourceに画像特徴量を入れた方
(sourceでMLMを使う) が効果的


# Page. 12

![Page Image](https://bcdn.docswell.com/page/9J2GWVMWJR.jpg)



# Page. 13

![Page Image](https://bcdn.docswell.com/page/DEYVL3X9EM.jpg)

t-SNEによる隠れ層初期値の可視化
ドイツ語のキャプション生成結果
(全体的に英語より難しい)
sourceに画像特徴量を入れた方
(sourceでMLMを使う) が効果的
(左) MLM (右) De MLM → En MLM


# Page. 14

![Page Image](https://bcdn.docswell.com/page/VJNM4V1D78.jpg)

source language modelを加えたことによるスコアの変動
元々スコアが高かったものは，source language modelを入れると
スコアが下がる傾向にある


# Page. 15

![Page Image](https://bcdn.docswell.com/page/YE9NQ658E3.jpg)

まとめ
•
画像キャプショニングをする際に，別の言語のキャプションを利用する方
法の提案
•
マルチモーダルな翻訳の一つ
•
単純に画像と言語を組み合わせるだけだと，なかなかスコアが上がらな
い
•
(ドイツ語のキャプション生成の実施)
– 英語より難しい


# Page. 16

![Page Image](https://bcdn.docswell.com/page/GE8KGZYZ7D.jpg)



# Page. 17

![Page Image](https://bcdn.docswell.com/page/LELZGD41JR.jpg)

ACL’16でのMulTmodal Machine TranslaTon
•
•
•
h6p://www.statmt.org/wmt16/mulTmodal-task.html
今回の著者らがオーガナイザー
データセット: flickr30k
– 英語のキャプションと，それに対応するドイツ語訳
•
タスク
•
1. MulTmodal Machine TranslaTon
2. Mulilingual Image DescripTon
結論を言うと，あんまり良いのは無かった


# Page. 18

![Page Image](https://bcdn.docswell.com/page/4JMVQPK5JW.jpg)

結果 : タスク1 (下線がベースライン; 灰色は外部データの利用)
Result


# Page. 19

![Page Image](https://bcdn.docswell.com/page/PJR281XZE9.jpg)

結果 : タスク2 (下線がベースライン; 灰色は外部データの利用)


# Page. 20

![Page Image](https://bcdn.docswell.com/page/PEXD8Y617X.jpg)

優勝チームの手法