CTRL: A Conditional Transformer Language Model for Controllable Generation①（Abstract & Introduction）｜言語処理へのDeepLearningの導入の研究トレンドを俯瞰する #42
言語処理へのDeepLearningの導入をご紹介するにあたって、#3〜#8においては、Transformer[2017]やBERT[2018]について、#9~#10ではXLNet[2019]について、#11~#12ではTransformer-XL[2019]について、#13~#17ではRoBERTa[2019]について、#18~#20ではWord2Vec[2013]について、#21~#24ではALBERT[2019]について、#26〜#30ではT5[2019]について、#31〜#32ではERNIEについて、#33〜#34ではELMo[2018]について、#35〜#36ではself-attention、#37〜#38ではDecomposable Attentionについて、#39〜#41ではReformer[2020]について取り扱ってきました。
#42以降では条件付きのTransformerを用いることで、生成の制御を行うCTRL(Conditional TRansformer Language Model)に関する下記の論文を取り扱っていきます。
[1909.05858] CTRL: A Conditional Transformer Language Model for Controllable Generation
#42ではAbstractとIntroductionを確認し、論文の概要を把握します。
以下目次になります。
1. Abstract
2. Introduction(Section1)
3. まとめ
1. Abstract
1節ではAbstractの内容を確認しながら概要について把握します。以下各文の和訳などを通して簡単に内容を確認します。
Large-scale language models show promising text generation capabilities, but users cannot easily control particular aspects of the generated text.
和訳：『大規模な言語モデルは期待できるほどのテキスト生成のキャパシティを示しているが、ユーザーは生成するテキストを容易に制御することはできないようになっている。』
BERTに代表されるTransformerをベースにした事前学習モデルの成功により、言語の汎用的な表現の取得ができるようになってきたことについて上記では言及しています。とはいえ、BERTなどはオーソドックスに様々なタスクに適用できるように構成されているので、そのまま用いるだけでは生成モデルの制御にあたっては不十分です。
We release CTRL, a 1.63 billion-parameter conditional transformer language model, trained to condition on control codes that govern style, content, and task-specific behavior. Control codes were derived from structure that naturally co-occurs with raw text, preserving the advantages of unsupervised learning while providing more explicit control over text generation.
和訳：『我々は文体や内容、タスク特化型の振るまいのコントロールができるように学習させた、16.3億のパラメータの条件付きTransformer言語モデルのCTRLをリリースする。制御を行うコードは入力のテキスト(raw text)の共起に本質的に基づく構造に派生し、制御コードは同時にテキスト生成における明示的な制御を与える際において教師なし学習の利点を保持している。』
そこでこのCTRLの研究では、文体や内容やタスクに特化した振る舞いを制御できるようにモデルを構築しているとされています。
These codes also allow CTRL to predict which parts of the training data are most likely given a sequence. This provides a potential method for analyzing large amounts of data via model-based source attribution. We have released multiple full-sized, pretrained versions of CTRL at https://github.com/salesforce/ctrl.
和訳：『これらの制御コードを用いることで、CTRLは学習データのどの部分が与えられた系列に尤もらしいかを予測することができる。このことにより、model-basedな属性を介して大規模なデータの分析が可能となっている。我々はCTRLのフルサイズの事前学習バージョンを"https://github.com/salesforce/ctrl"に公開した。』
学習済みモデルはGitHubに公開したとされています。
2. Introduction(Section1)
2節ではSection1のIntroductionについて確認します。以下パラグラフ単位で確認していきます。
第一パラグラフでは、サンプル生成を行うにあたっては十分なデータとモデルのキャパシティと計算能力が必要として上で、画像処理における敵対的生成ネットワーク(GAN; Generative Adversarial Networks)のような画像の生成やその後の研究として画像生成の制御を試みた研究について紹介しています。
第二パラグラフでは、言語の生成を行うにあたって条件付きの言語モデルを用いたアプローチについて言及し、使用されている例としてWord2vecなどが挙げられています。これらを受け、テキスト生成の明示的な制御を行うにはどうしたら良いかという問題提起がなされています。
第三〜五パラグラフでは、テキスト生成における制御について言及されているようです。文章だけではわかりにくいのと、詳細は後述されているのでここでは省略します。
第六パラグラフでは、将来研究などを容易にするために実装をGitHubに公開したことについて言及がされています。
3. まとめ
#42では条件付きのTransformerを用いることで、生成の制御を行うCTRL(Conditional TRansformer Language Model)の論文のAbstractとIntroductionを確認し、論文の概要を把握しました。
#43では引き続き、Section2のLanguage Modeling以降について確認していきます。
