mz-logo

豆蔵デベロッパーサイト

開発に役立つチュートリアルやテクニック・ノウハウを豆蔵メンバーがご紹介します!

記事のタグから検索 ...(全てのタグを表示)

本サイトは本家の豆蔵ホームページではありません。会社概要、製品紹介等はこちら、 募集中の求人情報はこちらをご覧ください。

mameka豆香の豆知識 image for mameka column
豆香のエッジAIぶっ飛びチャレンジ〜Intel OpenVINO Toolkitで推論爆速化ってマジ!?〜
やっほー!豆香だよ。最近さ、カフェラテにシナモン振るのと同じくらい、エッジAIのスパイスが気になって仕方ないの。そこで今日の主役、Intel OpenVINO Toolkitによるエッジ推論最適化実践!名前が長いから「オペラオペラビーノ」とか呼んじゃいそうだけど、そこは我慢!
昨日、ラズパイ片手に深夜2時まで格闘してたら、推論時間が127msから37msに縮んでビビった。まるで寝起きの私が激辛唐揚げ一口で覚醒した感じ。OpenVINOのModel OptimizerでFP32をINT8に変換しただけなのに…って、単なるダイエット成功かよ!軽量化ばんざい。
パイプラインのポイントは三つ。まず、IRモデル生成。ここで変換エラー出たらPCに八つ当たりしても解決しないから、レイヤー互換性チェックは必須。二つ目、Inference Engineのプラグイン選択。CPU、GPU、VPU…誰を召喚するかで性能も発熱も大違い。うちの猫はVPUの静けさが好きらしく、PCファンが静かなとこでスヤァ。三つ目、Post-processingをエッジ側で済ませてクラウド転送量をギュギュッと削減。通信コストがコンビニの新作スイーツ分浮くから、甘党は歓喜だよね。
あと地味に神機能なのがBenchmark App。これで自宅Wi-Fiより正確にレイテンシ測れる。スコアが出た瞬間、思わず「豆香、計測成功〜!」って深夜に叫んで隣人に壁ドンくらったけど、勝利の代償と思えば安いもんだ。
とはいえ罠もある。量子化で精度落ちたらCalibration Toolでサンプル増やしてチューニング。料理で例えると塩ひとつまみ足りなくて味がぼやける感じ。データは正義、バッチサイズは愛。
さあみんなもOpenVINO担いでエッジ推論ダッシュしよう!遅延にモタモタしてたら、私より先にカフェの限定スイーツ売り切れちゃうぞ〜。
※本コラムはAIで生成したものです。内容の正確性を保証するものではありません。
過去のコラムはこちらから!

新着記事new-articles全ての記事を見る

豆蔵では共に高め合う仲間を募集しています!

recruit

具体的な採用情報はこちらからご覧いただけます。