mz-logo

豆蔵デベロッパーサイト

開発に役立つチュートリアルやテクニック・ノウハウを豆蔵メンバーがご紹介します!

記事のタグから検索 ...(全てのタグを表示)

本サイトは本家の豆蔵ホームページではありません。会社概要、製品紹介等はこちら、 募集中の求人情報はこちらをご覧ください。

mameka豆香の豆知識 image for mameka column
OpenVINOでエッジAI爆走!レイテンシーなんて吹っ飛べ大作戦
おはよう!豆香だよっ。きょうは「Intel OpenVINOによる高速エッジAI推論実践」にガッツリ突っ込むね。朝イチから自宅ラボでラテ片手にモデル最適化大会スタート!ところが早速ネコのタマがUSBケーブル引っこ抜いて「推論止まったニャ〜」って大はしゃぎ。やめてぇぇ!こちとらレイテンシー1ミリ秒でも短くしたくて瞳孔バキバキなんだぞっ。
で、OpenVINOのModel OptimizerにTensorFlowモデルぶち込んでFP16化。重量級だったResNet50が一気にダイエット成功、まるで正月太りから春先に腹筋割れるレベルだよ。さらにCPU Extension突っ込んでAVX-512大解放。おおお…推論スピードが瞬きより速い!こりゃもう秒じゃなくて瞬って単位で計測しなきゃじゃん?
ただし引っかかるのはメモリ管理。バッファ奪い合い合戦でGPUとCPUが仁義なき抗争勃発。「お前が持っとけよ!」「いやそっちで回せよ!」ってまるで夫婦喧嘩。そこでAsync Inference Queueを投入、非同期でリクエスト投げまくり。並列処理が整列行進しはじめて、待機時間ゼロへ一直線。わたしのテンションもゼロを通り越してマイナスレイテンシー…ってそれは無理か!
エッジデバイス側はIntel NUCを採用。ファンが回るたび「ゴォォ」って音を立ててまるでライブ会場。熱暴走怖いからヒートシンクに自作アルミフィン増設しといた。触った瞬間「あちっ!」ってなるけど、その熱さが成功の証し。夜中にひっそり手をかざして「今日も推論働いてるな…」とニヤける私は怪しい変態エンジニアかもしれん。
そして大事なのは運用!モデル更新をサボると精度が萎む。だからCI/CDパイプラインで自動再最適化を回す。Gitにプッシュした瞬間にJenkinsがOpenVINO走らせて、エッジ側へOTA。終わるころには朝ごはんのトーストが冷めてるけど、AIはアツアツ。ううう…腹減ったけど推論結果見るのが先!
結論!OpenVINOは「エッジでも爆速推論したい!」って欲望を叶える最強ドーピング。チューニング沼に飛び込めば沈むどころかハイになって浮かぶから心配無用さ。さあみんなもレイテンシーを粉砕して、ネコに邪魔されながらも超高速AIライフ楽しもうぜっ!
※本コラムはAIで生成したものです。内容の正確性を保証するものではありません。
過去のコラムはこちらから!

新着記事new-articles全ての記事を見る

  • | ブログ | 6 min read
    #2026年 #MCP #typescript

    AIエージェントとシステムをつなぐMCP入門(StreamableHTTPステートフル実装編)

    はじめに # 本ページは「AIエージェントとシステムをつなぐMCP入門」の続編です。 今回は、StreamableHTTPで通信するMCPサーバーのステートフル実装について説明します。 ステートフル構成は、同じ利用者の連続操作を同一セッションとして扱いたい場合に有効です。 たとえば「ツールの呼び出し結果を次の呼び出しに引き継ぐ」「セッション単位で一時状態を保持する」「接続中の文脈を維持する」といった用途で使います...

    記事を読む
  • | ブログ | 7 min read
    #2026年 #MCP #typescript

    AIエージェントとシステムをつなぐMCP入門(StreamableHTTPステートレス実装編)

    はじめに # 本ページは「AIエージェントとシステムをつなぐMCP入門」の続編です。 今回はStreamableHTTPで通信するMCPサーバー(ステートレス)の実装について説明します。 前回のstdio実装編はMCPクライアントがサブプロセスとして実行しローカルで完結する構成でした。StreamableHTTPはHTTP経由でMCPサーバーを公開し、複数のMCPクライアントから利用可能な構成です...

    記事を読む
  • | ブログ | 7 min read
    #2026年 #MCP #typescript

    AIエージェントとシステムをつなぐMCP入門(stdio実装編)

    はじめに # 本ページは「AIエージェントとシステムをつなぐMCP入門」の続編です。 今回はstdioで通信するMCPサーバーの実装について説明します。標準入出力(stdin/stdout)を利用したMCPサーバーの構築手順と、stdio特有の注意点について見ていきます。 本ページで掲載しているコードはこちらで公開しています...

    記事を読む
  • | ブログ | 5 min read
    #2026年 #Marp #生成AI #AI

    AIとMarpで実現するエンジニアらしいプレゼン作成術

    はじめに # アジャイルグループの石田です。 先日、3月24日に開催された豆寄席「スクラムマスターのAI活用を考える 〜透明性・検査・適応 三本柱を強化する実践アプローチ〜」に登壇しました。第50回という節目のイベントに想定以上の多くの方にご参加いただき、誠にありがとうございました。改めて、スクラムマスターとAIという組み合わせの注目度の高さを感じました...

    記事を読む
  • | ブログ | 5 min read
    #2026年 #MCP #typescript

    AIエージェントとシステムをつなぐMCP入門(イントロダクション)

    はじめに # 本シリーズでは、MCP(Model Context Protocol)の基本から実装まで段階を分けて解説します。 「AIエージェントに社内システムや外部APIの知識を与えたい」という方へ向けた内容になります。 今回はMCPそのものについて説明します。 今後、トランスポート(stdio, Streamable HTTP)ごとの実装、MCPの自動生成などへの展開を予定しています...

    記事を読む
  • | ブログ | 8 min read
    #2026年 #AWS #AWS認定

    AWS Generative AI Developer 合格とW全冠達成記

    はじめに # 前回の記事では、Google Cloud認定の鬼門であった「Professional Security Operations Engineer(PSOE)」を突破し、念願の「Google Cloud認定全冠」を達成したことをご報告しました...

    記事を読む
  • | ブログ | 8 min read
    #2026年 #Google Cloud #Google Cloud認定

    【リベンジ達成】Google Cloud認定をついに全冠制覇!鬼門のPSOE突破と再受験のリアル

    はじめに # これまで豆蔵デベロッパーサイトでAWS認定に関する記事を執筆し、直近の2026年3月26日には「Google Cloud認定全制覇!……まであと一歩で跳ね返されたリアルな軌跡」という記事を公開しました。 前回の記事では、約2か月の怒涛の受験ラッシュで全冠を目指したものの、最後の1つ「Professional Security Operations Engineer(PSOE)」で不合格となり、無敗記録がストップしてしまった経緯をお伝えしました...

    記事を読む
  • | ブログ | 7 min read
    #2026年 #Network #raspberry-pi #tips

    親心VSこども Wi-Fi大作戦!Raspberry Pi&Pi-holeで徹底ペアレンタルコントロールしてみた

    はじめに # こんにちは。私の参加しているプロジェクトでは、毎朝の朝会で各自のコンディション(ニコニコ、ちょいニコ、普通、ちょいしんど、しんどめ、地獄など)を共有する「ニコニコカレンダー」を活用しています。 先日、私がその日の気分を「ちょいしんど」、理由に「寝不足」と入力していたことから、メンバーに「副鼻腔炎が悪化しましたか?」と心配されました...

    記事を読む
  • | ブログ | 3 min read
    #2026年 #retrospective

    豆蔵デベロッパーサイト 2026年1-3月のサマリー

    新年度が始まりました。2026年1-3月のサマリーです。 記事数・執筆者数 # この3ヶ月で34本の記事が投稿され、記事数は876になりました。新たに2名が執筆デビューし、累計76名になりました。 連載 # SysML モデリング連載 # 複雑なシステムをモデリングするための新しい言語である SysML v2。この SysML v2モデルを作成・編集するためのグラフィカル・モデリングツール、SysON を紹介するシリーズ...

    記事を読む
  • | ブログ | 3 min read
    #2026年 #初心者向け #要件定義

    要件定義入門①:要件定義とはなにか ~現場での役割と全体像~

    要件定義入門①:要件定義とは何か ~現場での役割と全体像~ # 1. はじめに # 要件定義という言葉はよく耳にするものの、 「実際に何をしているのか分からない」と感じる方が多いのではないでしょうか。 特に現場に入りたての頃は、実装やテストといった開発工程に関わることが多く、 要件定義については「最初にやる工程らしい」という程度の理解に留まりがちです。 そのため、 「要件定義って何をしているのだろう」 と疑問に思う場面も少なくありません...

    記事を読む

豆蔵では共に高め合う仲間を募集しています!

recruit

具体的な採用情報はこちらからご覧いただけます。