---
title: [DL Hacks]AllenNLPによるNLPモデルの実装と実行
tags:  #deep learning  
author: [Deep Learning JP](https://www.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/LJLZXKVX7R.jpg?width=480
description: 2018/11/29 Deep Learning JP:  http://deeplearning.jp/hacks/
published: November 30, 18
canonical: https://www.docswell.com/s/DeepLearning2023/57V1DG-dl-hacksallennlpnlp
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/LJLZXKVX7R.jpg)

AllenNLPによるNLPモデルの実装と実行
2018/11/29 @ DLHacks
Takuya MATSUDATE


# Page. 2

![Page Image](https://bcdn.docswell.com/page/47MVL2G37W.jpg)

Outline
●
●
●
●
●
●
選んだきっかけ
背景
AllenNLP
即実行可能なタスク
実行例
所感
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/P7R2KMZRJ9.jpg)

選んだきっかけ
TwitterでAllenNLPが激推
しされてたけど、日本語
で紹介された記事はない
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/PJXDLV9YEX.jpg)

背景 (PyTorchで実装中に思うこと)
● TensorflowにはKerasがあるけど、PyTorchには？
● もう少し簡単に書く方法はないのだろうか
○ 早く構築して試したい
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/3JKXLQP4ED.jpg)

AllenNLP
https://allennlp.org/
- NLP特化の深層学習ライブラリ
-
より抽象的な記述が可能
- Allen Institute for Artificial Intelligenceが構築とメンテナンス
-
High Qualityなモデル実装を提供
-
企業に左右されない独立した組織 (For Long-term growthと謳っている)
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/LE353PXDJ5.jpg)

(参考)インストール
$ pip install allennlp
Python &gt;= 3.6.1, Dockerイメージやソースからのインストールも可能
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/8EDD4L22EG.jpg)

実行例1 Predictだけ
トレーニング済みのAllenNLP謹製モデルであれば、即実行可能
https://allennlp.org/models
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/V7PXM21LE8.jpg)

即実行可能なタスク
いくつかのタスクについては、その紹介と使用したモデル、
学習＆検証用のデータセットが公開されている
https://allennlp.org/models
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/2JVL9DY67Q.jpg)

実行例2 Jsonnetからのパラメータ指定
AllenNLPはJsonnet形式でパラメータを指定し実行可能
simple_tagger.json
Jsonnetでモデルを書いたら、そのままCLIで読み込ませて実行できる
$ allennlp train ./simple_tagger.json --serialization-dir ./log
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/5EGXZY92JL.jpg)

実装例
AllenNLPをPythonライブラリとして使用してモデルを構成できる
AllenNLP自体がPyTorchで構築されているため、かゆいところはPyTorchで
かける
https://allennlp.org/tutorials
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/4JQ8LMW97P.jpg)

所感
● いろいろ楽できそう
○
PyTorchの高レベルAPI、ただしNLP専用
○
「Embeddingだけ」「data_loadだけ」など、一部使うだけでも便利そう
● AI2がちゃんと(?)テスト＆メンテしているので、品質には一定の安心感がある
○
Kerasとかでもそういうのがあるのだろうか
○
個人や研究者によるDevelopment communityがどれだけ品質担保できるのか
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/K742DV1RJ1.jpg)

Links
●
●
●
●
AllenNLPプロジェクト
○ https://allennlp.org/
モデル一覧とそれぞれのデモ
○ http://demo.allennlp.org/machine-comprehension
AllenNLP Github
○ https://github.com/allenai/allennlp
AllenNLP開発チームのメンバーによるコーディング思想についてのスライド
○ https://github.com/allenai/writing-code-for-nlp-researchemnlp2018/blob/master/writing_code_for_nlp_research.pdf
12


