Ubuntu × GeForce RTX 3090 でローカルLLMを動かす ― Ollama + gpt‑oss:20b + OpenWebUI
Ubuntu 22.04 LTS × GeForce RTX 3090 でローカルLLMを動かす ― Ollama + gpt‑oss:20b + OpenWebUI はじめに 近年、LLM(大規模言語モデル)をローカルで動かすニーズが高まっています。 本記事では、 Ubuntu 22.04 LTS と GeForce RTX 3090 を使い、 Ollama で gpt‑oss:20b を管理し、 OpenWebUI でブラウザベースのチャット UI を構築する手順を紹介します。 GPU アクセラレーションを最大限に活かす設定や、トラブルシューティングのポイントもまとめています。 Ubuntu 環境の準備 2‑1. 基本セットアップ sudo apt update && sudo apt upgrade -y sudo apt install -y build-essential git curl wget 2‑2. NVIDIA ドライバと CUDA Toolkit # 1. ドライバインストール sudo ubuntu-drivers autoinstall # 2. CUDA 12.x インストール wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run sudo sh cuda_12.1.0_530.30.02_linux.run `/usr/local/cuda-12.1/bin` を PATH に追加し、`nvcc --version` で確認。 2‑3. cuDNN のインストール 公式サイトから cuDNN 8.x をダウンロードし、`/usr/local/cuda-12.1/` に展開。 `LD_LIBRARY_PATH` に `lib64` を追加。 Ollama のインストールと設定 3‑1. バイナリ取得 curl -fsSL https://ollama.com/install.sh | sh `/usr/local/bin/ollama` が PATH に入ります。 ...