大規模言語モデル初心者がハリーポッター対話モデルを作ってみた
はじめに # ChatGPTの普及により、文章生成技術がますます身近になっています。 ChatGPTをはじめとする生成系AIは、巨大なテキストデータセットから学習した大規模言語モデル（LLM）をベースとしています。 このLLMは、ファインチューニングによってカスタマイズ可能で、特定の領域に特化したモデルを作成できます。 私はLLM初心者でしたが、ファインチューニングを試してみたいと思っていました...
記事を読むRAGを利用して国会会議録に基づいて質問に回答するLLMを作る方法
はじめに # こんにちは。デジタル戦略支援事業部の藤堂です。普段はデータ分析の業務に従事し、AI TECHチームでも活動をしています。 昨年末のChatGPTの登場以降、大規模言語モデル（LLM）の可能性が広く認識されるようになりました。これらのモデルは、インターネット上の膨大な情報を学習する能力を持っていますが、法律、医療などの専門的知識や、特定の企業や個人に関連する独自の情報には疎いのが現状です...
記事を読む日本語GPTで雑談対話モデルを作ろう
この記事は夏のリレー連載2023の11日目の記事です。 はじめに # 最近ChatGPTをはじめ生成系AIツールが様々、発表されています。 大量のテキストデータを使ってトレーニングされた大規模言語モデル（LLM）では、そのモデルを用いたツールはもちろんのこと、モデルそのものも日進月歩の勢いで多数開発されています...
記事を読むOpenAIのChat APIに追加されたFunction callingを使ってみる
2023-06-13にOpenAIからGPT-3.5-turboとGPT-4のアップデートに加えて、Function callingという機能をAPIに追加したと発表しました...
記事を読むChatGPTプラグイン開発でGitHub OAuthを使った認証を試す
少し前にAWS上でChatGPTプラグインを構築する記事を書きました。 AWS LambdaでChatGPTプラグイン開発を試してみる - ローカル開発編 AWS LambdaでChatGPTプラグイン開発を試してみる - AWSデプロイ編 ここでは認証なし(auth: none)の実装としていました。 とはいえ、ユーザー固有のリソースを使う場合等、認証が必要なケースも多くあるかと思います。 現時点では、ChatGPTプラグインは以下3タイプの認証方式を提供しています...
記事を読むAWS LambdaでChatGPTプラグイン開発を試してみる - AWSデプロイ編
以下記事の続編です。 AWS LambdaでChatGPTプラグイン開発を試してみる - ローカル開発編 前回はAWS LambdaでChatGPTプラグインを動かすことを前提として、ローカル環境(SAM CLI)で起動したプラグインAPIとChatGPTを連携して感覚を掴みました。 今回は、実際にAWS環境へデプロイしてみたいと思います。 最終的な構成を再掲します。 このサンプルプラグインのソースコードは以下GitHubレポジトリで公開しています...
記事を読むAWS LambdaでChatGPTプラグイン開発を試してみる - ローカル開発編
世界中を席巻しているChatGPTですが、プラグイン機能はリアルタイム情報取得、外部API連携等、ChatGPTの可能性を無限に広げます。 そんなプラグイン機能が、Webブラウジングとともに2023-05-15週から順次ChatGPT Plusユーザーに解放されました...
記事を読むAWS Lambdaのレスポンスストリーミングを使ってChatGPTっぽいUIにする
2023-04-07にAWS Lambdaのレスポンスストリーミングのサポートが発表されました。 Introducing AWS Lambda response streaming (邦訳)AWS Lambda レスポンスストリーミングの紹介 AWS Lambdaでは、同期型のHTTP通信はリクエスト・レスポンスモデルのみで、Lambdaの実行時間に比例してユーザーへの応答時間も長くなります...
記事を読むRust + AWS Lambdaを使ってSlackでChatGPTと会話する
以前以下の記事でRustをAWS Lambda上で動かす方法をご紹介しました。 Rustで書いたコードをAWS Lambdaにデプロイする これを使って何か実用的なものを開発して、楽しくRustのスキルを上げたいなと思っていました。 そこで、最近のChatGPTブームに乗っかることにしました。 ChatGPT開発元のOpenAIが提供するChat APIを通して、Slack上でChatGPT(正確にはChatGPTと同じモデル)と会話できる機能をRust + Lambdaで実装してみます...
記事を読むChatGPT先生に教わりながら「Transformerの肝」である「注意機構（Attention機構）」を可視化する
前回と前々回では機械学習アーキテクチャ「Transformer」を使って簡単な文章生成に挑戦しました。 ちょっと前までは、プログラミングで調べたいことがあるときは「Google先生」にお伺いを立てていたのですが、最近は「ChatGPT先生」にお伺いを立てることが増えました。 （ここでは ChatGPT に対して敬意を込めて「ChatGPT先生」と呼称しています...
記事を読む
