OpenAIの File Search の結果を分析してチューニングする
OpenAIの Assistants API では、ツールとして File Search(RAG) が利用できます[1]。 これを使えば、ファイルをアップロードするだけでAIに独自のナレッジを追加できます。 自前でベクトルデータベースを用意したり、Embedding API を使ったベクトル化やベクトル検索の実装が不要になります。 この File Search 登場時は、中身はブラックボックスでチューニングもできませんでしたが、何度かアップデートされており状況が変わってきています...
記事を読むLangChainのJava用ライブラリLangChain4jを使ってみる
はじめに # こんにちは。デジタル戦略支援事業部の三浦です。 今回はLangChainのJava用ライブラリである LangChain4j を触ってみたので紹介したいと思います。 LangChainとはLLM(大規模言語モデル)を利用したアプリケーション開発において便利な機能をまとめたフレームワークです。 多種の言語モデルを統一的なインターフェースで利用できることや、プロンプトテンプレート、会話履歴の保存、エンベディング、ベクトルDBとの接続など多くの機能に対応しています...
記事を読むOpenAI Assistants API(v2)で新しくなったFile Search(Vector Stores)を使う
最近はOpenAI APIのアップデートが活発ですね(そろそろGPT-5が発表されるのでしょうか...)。 少し前にもAssistants APIの大きなアップデートがありました...
記事を読む独自のデータに基づくAzure OpenAI機能を使ってみた
はじめに # 今回はAzure OpenAI Service(以下AOAIとする)のプレビュー機能である「独自のデータに基づく Azure OpenAI」という機能を試してみた内容をまとめます。 独自のデータに基づくAzure OpenAI (プレビュー) この機能では利用者の独自のデータ(txtファイル、pdf、wordファイルなど)に基づいてOpenAIが公開しているチャット対話モデル(GPT-3.5、GPT-4)に質問することができます...
記事を読むRAGを利用して国会会議録に基づいて質問に回答するLLMを作る方法
はじめに # こんにちは。デジタル戦略支援事業部の藤堂です。普段はデータ分析の業務に従事し、AI TECHチームでも活動をしています。 昨年末のChatGPTの登場以降、大規模言語モデル(LLM)の可能性が広く認識されるようになりました。これらのモデルは、インターネット上の膨大な情報を学習する能力を持っていますが、法律、医療などの専門的知識や、特定の企業や個人に関連する独自の情報には疎いのが現状です...
記事を読む