AWSで自分だけのLLM環境を！EC2 GPUインスタンスとOllamaでAIを動かす実践ガイド
はじめに # 「クラウドで手軽にGPUを借りて、最新のLLM（大規模言語モデル）を動かしてみたい！」 そんな思いつきから、AWSのEC2 GPUインスタンス＋Ollamaを使って、オープンソースのLLM実行環境を構築する検証を行いました。本記事では、その際の手順や得られた知見を、備忘録も兼ねてご紹介します。 ✔️ STEP 1: EC2インスタンスタイプの選定 # まずは、LLMを快適に動かすための「心臓部」となるEC2インスタンスを選びます...
記事を読むCUDA、cuDNN、CMake地獄を乗り越えて、激古GPU＋llama.cppで量子化DeepSeekモデルを動かすまでの戦い
今回は、型落ち・中古の激安GPU搭載PCでも、話題の大規模言語モデル「DeepSeek」シリーズをローカルで動かしてみようという挑戦記です。 ただ、DeepSeekネタは 豆蔵デベロッパーサイトの記事として既に以下の記事が公開されています。 Ollamaを使ってオープンソースLLMをローカルホストしてみよう また、今回使用を予定している「llama」についてはPython版が既に以下の記事で公開されています...
記事を読む
