「アテンションが全て」ではなかった?GPT2 small(124M)から学ぶLLMの仕組み
この記事は夏のリレー連載2025 3日目の記事です。 --> Information本記事は、次のような読者層を想定しています。 パラメーター数とLLM性能の関係を直感的に理解したい方 Transformerの仕組みを概観し、学習の足がかりを得たい方 詳細な理論解説ではなく 「全体像の把握」 を目的としています。より深い学習を希望される場合は、本文中で紹介する参考文献をご参照ください...
記事を読む自然言語処理初心者が「GPT2-japanese」で遊んでみた
はじめに # 文章を楽に書きたい。 日常生活でそう思ったことはないでしょうか? 文章を書く機会は社会人だけでなく学生でも多いと思います。 報告書やメール、レポート課題、そして今読んでいるようなブログなどです。 その時に出だしは順調でも途中で詰まったり、表現がわからずにネットで調べたりして、ちっとも進まないということがよくあります...
記事を読む