AWSで自分だけのLLM環境を!EC2 GPUインスタンスとOllamaでAIを動かす実践ガイド
はじめに # 「クラウドで手軽にGPUを借りて、最新のLLM(大規模言語モデル)を動かしてみたい!」 そんな思いつきから、AWSのEC2 GPUインスタンス+Ollamaを使って、オープンソースのLLM実行環境を構築する検証を行いました。本記事では、その際の手順や得られた知見を、備忘録も兼ねてご紹介します。 ✔️ STEP 1: EC2インスタンスタイプの選定 # まずは、LLMを快適に動かすための「心臓部」となるEC2インスタンスを選びます...
記事を読むOllamaを使ってオープンソースLLMをローカルホストしてみよう
はじめに # 今回はオープンソースLLMをローカルPCで起動する方法を試してみたいと思います。オープンソースのLLMにはすでに多くの種類があり、パラメタ数の小さなモデルや最近話題になった中国企業発の推論モデルDeepSeek-R1などがどんな回答が得られるのか、いろいろ気になることがあるのでその起動方法から回答結果まで確認していきたいと思います。 Ollamaとは # 今回オープンソースLLMをローカル起動するのに使うのはOllamaというソフトウェアです...
記事を読む