OpenAI の Realtime API で音声を使って任意の関数を実行する(Function calling編)
つい先日OpenAIのRealtime APIを利用した以下の記事を書きました。 新登場の OpenAI の Realtime API でAIと音声会話する ここではCLIベースの超簡単会話ツールを作成しました。 Realtime APIはChat Completion API同様にFunction callingにも対応しています。これを利用すると音声でも任意のAPIを実行できるようになります。 今回はこれを試してみます...
記事を読む新登場の OpenAI の Realtime API でAIと音声会話する
先日OpenAI から Realtime API という注目機能がリリースされました。 OpenAI Blog - Introducing the Realtime API Realtime APIは今秋から段階的にロールアウトしたChatGPTのアドバンスドボイスモードに相当するAPIです。 以前も類似のことはできましたが、音声をテキストに変換、プロンプトとしてLLMにインプット、レスポンスのテキストを音声に変換という長いステップを踏む必要がありました...
記事を読むOpenAIの File Search の結果を分析してチューニングする
OpenAIの Assistants API では、ツールとして File Search(RAG) が利用できます[1]。 これを使えば、ファイルをアップロードするだけでAIに独自のナレッジを追加できます。 自前でベクトルデータベースを用意したり、Embedding API を使ったベクトル化やベクトル検索の実装が不要になります。 この File Search 登場時は、中身はブラックボックスでチューニングもできませんでしたが、何度かアップデートされており状況が変わってきています...
記事を読むOpenAIのStructured Outputsを使ってAIの出力スキーマを定義する
先日OpenAIからStructured Outputsという機能がリリースされました。 OpenAI Blog - Introducing Structured Outputs in the API Structured Outputsは、その名前の通り構造化された出力を強制する機能です。 とはいえ、今までもAIからのレスポンスをJSON形式で返却するパラメータはありました(response_formatにjson_objectを指定)...
記事を読むClaude 3 を使ってみたら「こんなアプリ作れたらいいなぁ」と温めていたアイデアがこいつですんじゃいました。
はじめに # こんにちは、今田です。 豆蔵社内のイベントで、AWSの生成AI勉強会があるというので、Claude 3 をちょっと触ってみようと思いました。 ChatGPTの情報はちょこちょこ追っていたので、「普通に人に頼むように口語で話しかけたら、人間みたいに返してくれるんだろうな」という感じで30分くらい使いました...
記事を読むLangChainのJava用ライブラリLangChain4jを使ってみる
はじめに # こんにちは。デジタル戦略支援事業部の三浦です。 今回はLangChainのJava用ライブラリである LangChain4j を触ってみたので紹介したいと思います。 LangChainとはLLM(大規模言語モデル)を利用したアプリケーション開発において便利な機能をまとめたフレームワークです。 多種の言語モデルを統一的なインターフェースで利用できることや、プロンプトテンプレート、会話履歴の保存、エンベディング、ベクトルDBとの接続など多くの機能に対応しています...
記事を読むOpenAI Assistants API(v2)で新しくなったFile Search(Vector Stores)を使う
最近はOpenAI APIのアップデートが活発ですね(そろそろGPT-5が発表されるのでしょうか...)。 少し前にもAssistants APIの大きなアップデートがありました...
記事を読む新しく導入されたOpenAIのバッチAPIを使ってみる
2024-04-16にOpenAIから複数APIを一括実行するバッチAPIが発表されました...
記事を読む生成AIを活用してdependency-cruiserのカスタムルールを効率的に作成する方法
はじめに # JavaScriptプロジェクトでは、複雑化する依存関係の管理が非常に重要です。dependency-cruiserはこれを可視化し、分析する強力なツールですが、設定の複雑さがネックとなることもあります。特に、プロジェクト固有のルールの作成は多大な時間と労力を消費します。 dependency-cruiser(GitHubリポジトリ) 生成AIを活用することで、dependency-cruiserのカスタムルール作成を効率化できます...
記事を読むOpenAI Assistants APIのストリームレスポンスでUXを改善する
OpenAIのAssistants APIはスレッドによる会話コンテキストの維持やFunction calling、Retrieval等のツールが使えて便利ですね。 ただ、ユーザーとインタラクティブに対話するためには、アシスタント(とその先のGPT)がレスポンスを完全に生成するまでポーリングする必要がありました。 これだとユーザーが体感する待ち時間は長くなり、UX的に今ひとつになってしまいます。 これを打開すべく、先月(2024-03-14)OpenAIから以下の発表がありました...
記事を読む
