mz-logo

豆蔵デベロッパーサイト

開発に役立つチュートリアルやテクニック・ノウハウを豆蔵メンバーがご紹介します!

記事のタグから検索 ...(全てのタグを表示)

本サイトは本家の豆蔵ホームページではありません。会社概要、製品紹介等はこちら、 募集中の求人情報はこちらをご覧ください。

mameka豆香の豆知識 image for mameka column
毒舌ボットにストップを!OpenAI Moderation APIでネットを守れ大作戦
やっほー!豆香だよ!最近さ、SNSを開くと毒舌フリーザーみたいな投稿が飛んできて、心がキンキンに凍ることない?わたし、あれ見るたびに「ちょ、心臓にフロストノヴァやめて!」って叫んじゃう。そこで登場するのが、OpenAI Moderation API!こいつ、まるでネット界のバリアフリッカー。暴言や差別、えちえち過ぎる表現をピピッと検出してくれる頼れる相棒なんだ。
仕組みは意外とシンプル。テキストをAPIに投げたら、カテゴリー毎にスコアが返ってくる。暴力0.92とか出たら「ターミネーター級やんけ!」ってことで投稿をブロック。逆に0.05なら「お、お、おとなしい子羊か?」ってスルー。しきい値はシステムのポリシーと相談しながら決めればOK。
ただ注意点もある。機械に完璧はない。誤検知で友だちの感動ポエムを赤札にしちゃったら、もう阿鼻叫喚。「おい豆香、俺のポエム返せ!」と深夜2時に電話が鳴る未来が見える。だからフィードバックループが命。ヒットしたサンプルを人間が確認→モデルを再学習→誤検知率をドンドコ下げる。このPDCA、まるで筋トレ。サボるとすぐリバウンド、がんばると腹筋バキバキ。
倫理ポイントも忘れちゃいけない。「嫌な言葉=即BAN」じゃなく、文脈読むことも大切。ブラックジョークは生きるスパイス!でも人を傷つけるジョークは激辛デスソース。境界線をどう引くか、チームで夜通し語り合う時間が超重要。ピザ片手に議論すると、なぜか意外と合意形成が早いって噂。ピザ偉大。
最後に、Moderation API導入のコツを三行で。
1. まず自社ポリシーをガッツリ言語化。フワッと禁止じゃAPIも迷子。
2. ログは宝箱。誤検知・漏れ検知の例を貯めて後でチューニング。
3. ユーザーへの説明責任を果たすUIを用意。「なんでNG?」を可視化しないと炎上マックス。
そういうわけで、みんなのタイムラインを平和に守るヒーロー、OpenAI Moderation APIを味方に、今日も毒舌ボットにレッドカード!さぁ出動だ、ネットヒーローズ!
※本コラムはAIで生成したものです。内容の正確性を保証するものではありません。
過去のコラムはこちらから!

新着記事new-articles全ての記事を見る

  • | ブログ | 6 min read
    #2026年 #MCP #typescript

    AIエージェントとシステムをつなぐMCP入門(StreamableHTTPステートフル実装編)

    はじめに # 本ページは「AIエージェントとシステムをつなぐMCP入門」の続編です。 今回は、StreamableHTTPで通信するMCPサーバーのステートフル実装について説明します。 ステートフル構成は、同じ利用者の連続操作を同一セッションとして扱いたい場合に有効です。 たとえば「ツールの呼び出し結果を次の呼び出しに引き継ぐ」「セッション単位で一時状態を保持する」「接続中の文脈を維持する」といった用途で使います...

    記事を読む
  • | ブログ | 7 min read
    #2026年 #MCP #typescript

    AIエージェントとシステムをつなぐMCP入門(StreamableHTTPステートレス実装編)

    はじめに # 本ページは「AIエージェントとシステムをつなぐMCP入門」の続編です。 今回はStreamableHTTPで通信するMCPサーバー(ステートレス)の実装について説明します。 前回のstdio実装編はMCPクライアントがサブプロセスとして実行しローカルで完結する構成でした。StreamableHTTPはHTTP経由でMCPサーバーを公開し、複数のMCPクライアントから利用可能な構成です...

    記事を読む
  • | ブログ | 7 min read
    #2026年 #MCP #typescript

    AIエージェントとシステムをつなぐMCP入門(stdio実装編)

    はじめに # 本ページは「AIエージェントとシステムをつなぐMCP入門」の続編です。 今回はstdioで通信するMCPサーバーの実装について説明します。標準入出力(stdin/stdout)を利用したMCPサーバーの構築手順と、stdio特有の注意点について見ていきます。 本ページで掲載しているコードはこちらで公開しています...

    記事を読む
  • | ブログ | 5 min read
    #2026年 #Marp #生成AI #AI

    AIとMarpで実現するエンジニアらしいプレゼン作成術

    はじめに # アジャイルグループの石田です。 先日、3月24日に開催された豆寄席「スクラムマスターのAI活用を考える 〜透明性・検査・適応 三本柱を強化する実践アプローチ〜」に登壇しました。第50回という節目のイベントに想定以上の多くの方にご参加いただき、誠にありがとうございました。改めて、スクラムマスターとAIという組み合わせの注目度の高さを感じました...

    記事を読む
  • | ブログ | 5 min read
    #2026年 #MCP #typescript

    AIエージェントとシステムをつなぐMCP入門(イントロダクション)

    はじめに # 本シリーズでは、MCP(Model Context Protocol)の基本から実装まで段階を分けて解説します。 「AIエージェントに社内システムや外部APIの知識を与えたい」という方へ向けた内容になります。 今回はMCPそのものについて説明します。 今後、トランスポート(stdio, Streamable HTTP)ごとの実装、MCPの自動生成などへの展開を予定しています...

    記事を読む
  • | ブログ | 8 min read
    #2026年 #AWS #AWS認定

    AWS Generative AI Developer 合格とW全冠達成記

    はじめに # 前回の記事では、Google Cloud認定の鬼門であった「Professional Security Operations Engineer(PSOE)」を突破し、念願の「Google Cloud認定全冠」を達成したことをご報告しました...

    記事を読む
  • | ブログ | 8 min read
    #2026年 #Google Cloud #Google Cloud認定

    【リベンジ達成】Google Cloud認定をついに全冠制覇!鬼門のPSOE突破と再受験のリアル

    はじめに # これまで豆蔵デベロッパーサイトでAWS認定に関する記事を執筆し、直近の2026年3月26日には「Google Cloud認定全制覇!……まであと一歩で跳ね返されたリアルな軌跡」という記事を公開しました。 前回の記事では、約2か月の怒涛の受験ラッシュで全冠を目指したものの、最後の1つ「Professional Security Operations Engineer(PSOE)」で不合格となり、無敗記録がストップしてしまった経緯をお伝えしました...

    記事を読む
  • | ブログ | 7 min read
    #2026年 #Network #raspberry-pi #tips

    親心VSこども Wi-Fi大作戦!Raspberry Pi&Pi-holeで徹底ペアレンタルコントロールしてみた

    はじめに # こんにちは。私の参加しているプロジェクトでは、毎朝の朝会で各自のコンディション(ニコニコ、ちょいニコ、普通、ちょいしんど、しんどめ、地獄など)を共有する「ニコニコカレンダー」を活用しています。 先日、私がその日の気分を「ちょいしんど」、理由に「寝不足」と入力していたことから、メンバーに「副鼻腔炎が悪化しましたか?」と心配されました...

    記事を読む
  • | ブログ | 3 min read
    #2026年 #retrospective

    豆蔵デベロッパーサイト 2026年1-3月のサマリー

    新年度が始まりました。2026年1-3月のサマリーです。 記事数・執筆者数 # この3ヶ月で34本の記事が投稿され、記事数は876になりました。新たに2名が執筆デビューし、累計76名になりました。 連載 # SysML モデリング連載 # 複雑なシステムをモデリングするための新しい言語である SysML v2。この SysML v2モデルを作成・編集するためのグラフィカル・モデリングツール、SysON を紹介するシリーズ...

    記事を読む
  • | ブログ | 3 min read
    #2026年 #初心者向け #要件定義

    要件定義入門①:要件定義とはなにか ~現場での役割と全体像~

    要件定義入門①:要件定義とは何か ~現場での役割と全体像~ # 1. はじめに # 要件定義という言葉はよく耳にするものの、 「実際に何をしているのか分からない」と感じる方が多いのではないでしょうか。 特に現場に入りたての頃は、実装やテストといった開発工程に関わることが多く、 要件定義については「最初にやる工程らしい」という程度の理解に留まりがちです。 そのため、 「要件定義って何をしているのだろう」 と疑問に思う場面も少なくありません...

    記事を読む

豆蔵では共に高め合う仲間を募集しています!

recruit

具体的な採用情報はこちらからご覧いただけます。