內容簡介
內容簡介 最新の自然言語処理(NLP)では、Transformerという種類のニューラルネットワークが使われるようになりました。 TransformerはBERTやGPT2などのAIで採用され、NLP技術にブレークスルーをもたらしましたが、その特徴は、高い性能とさまざまな用途に使える汎用性の高さにあります。 本書では、Transformerの構造を理解するためにBERTとGPT2を一から実装し、またNLPプログラムを作成するために必要となる、Transformerを拡張して応用AIを作成する方法を紹介します。 Transformerの実装では、Transformerの中心となるSelf-Attention層の作成やテキストのエンコード方法など、最も基礎的な部分から、Pythonのコードをもとに解説をしています。 また、学習では、事前学習と特定のタスクに向けたファインチューニングという、Transformerに特徴的な2段階のステップを、両方とも行います。 ニューラルネットワークの実装は、TensorFlow 2を利用します。 目錄： CHAPTER 01 Transformerとは CHAPTER 02 自然言語処理の前準備 CHAPTER 03 Self-Attentionと学習の準備 CHAPTER 04 Transformerの実装 CHAPTER 05 BERT CHAPTER 06 BERTによるテキスト分類 CHAPTER 07 文章の抽出 CHAPTER 08 GPT2 CHAPTER 09 抽象型文章要約
