Googleが2018年11月にBERTを発表して以来、Transformerを利用した様々な論文が注目を浴びている。
Googleは2019年10月にはBERTを更に進化させ、Google検索やGoogle翻訳の基盤技術とすることも発表している。
その技術の一部の詳細が以下のような形でGoogleのブログで発表された。アルゴリズムとしてのTransformerの長所をいかしつつ、サービスとして実装するには、取り扱うコンテンツの規模や計算機資源の制約といった課題を解決するReformerという新技術である。
日本語の記事の見出しの中には、「小説を理解できる」という記載もあるが、要約文を生成できるというのが実際の機能である。（余談であるが、この「理解」という言葉は日常的に気軽に使うが定義・説明が難しい言葉であり技術的にはあまり使われない。）
Transformerも含めReformerは、大量の文章（コンテンツ）を事前に学習（教師なし）することで得られた要素（単語、画素）の関係性を活用してコンテンツ生成を可能とする技術である。
Reformerを画像に適用した以下の例がGoogleのブログに示されている。
上段の画像（上半分）を入力して、全体の画像をReformerが生成できるかということを示している。これまでもGANやVAEなどのアルゴリズムでの同様の取り組みがされているが、精度が向上しているように見られる。
Google、小説を全て処理できるAI翻訳「Reformer」発表
https://amp.review/2020/01/23/google_reformer/
（原文）Reformer: The Efficient Transformer
https://ai.googleblog.com/2020/01/reformer-efficient-transformer.html
