「アテンションが全て」ではなかった？GPT2 small(124M)から学ぶLLMの仕組み
この記事は夏のリレー連載2025 3日目の記事です。 --> Information本記事は、次のような読者層を想定しています。 パラメーター数とLLM性能の関係を直感的に理解したい方 Transformerの仕組みを概観し、学習の足がかりを得たい方 詳細な理論解説ではなく 「全体像の把握」 を目的としています。より深い学習を希望される場合は、本文中で紹介する参考文献をご参照ください...
記事を読む
この記事は夏のリレー連載2025 3日目の記事です。 --> Information本記事は、次のような読者層を想定しています。 パラメーター数とLLM性能の関係を直感的に理解したい方 Transformerの仕組みを概観し、学習の足がかりを得たい方 詳細な理論解説ではなく 「全体像の把握」 を目的としています。より深い学習を希望される場合は、本文中で紹介する参考文献をご参照ください...
記事を読む