What all you need is finetuning

私のALIS様への投稿の傾向からは珍しく、結論を真っ先に表現してます。

What all you need is attention の論文は、ディープラーニングの世界ではあまりにも有名ですが、GPTがどういう意味なのかはあまり知られていない様に思います。

GPTはGenerative Pre-trained Transformarの略だそうで、Ganerativeの部分が生成AIという新しい一分野を切り開いた象徴的な名前、この技術の名前がTransformar 、というのもそれぞれ重要なのですが、今回注文したいのは、Pre-trainedです。

前もって学習されている、というこの言葉は、後から追加で学習させることを前提として付けられた名前ですから、後からFinetuningされることを前提としている、と思うのですが、そのFinetuningの具体的な方法があまり解説されていない様に感じられて仕方ないのです。

それでは失礼します。