一生ヘタレプログラマ

Ubuntu 22.04 LTS × GeForce RTX 3090 でローカルLLMを動かす ― Ollama + gpt‑oss:20b + OpenWebUI はじめに 近年、LLM（大規模言語モデル）をローカルで動かすニーズが高まっています。 本記事では、 Ubuntu 22.04 LTS と GeForce RTX 3090 を使い、 Ollama で gpt‑oss:20b を管理し、 OpenWebUI でブラウザベースのチャット UI を構築する手順を紹介します。 GPU アクセラレーションを最大限に活かす設定や、トラブルシューティングのポイントもまとめています。 Ubuntu 環境の準備 2‑1. 基本セットアップ sudo apt update && sudo apt upgrade -y sudo apt install -y build-essential git curl wget 2‑2. NVIDIA ドライバと CUDA Toolkit # 1. ドライバインストール sudo ubuntu-drivers autoinstall # 2. CUDA 12.x インストール wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run sudo sh cuda_12.1.0_530.30.02_linux.run `/usr/local/cuda-12.1/bin` を PATH に追加し、`nvcc --version` で確認。 2‑3. cuDNN のインストール 公式サイトから cuDNN 8.x をダウンロードし、`/usr/local/cuda-12.1/` に展開。 `LD_LIBRARY_PATH` に `lib64` を追加。 Ollama のインストールと設定 3‑1. バイナリ取得 curl -fsSL https://ollama.com/install.sh | sh `/usr/local/bin/ollama` が PATH に入ります。 ...

 システムプロンプトのサンプル 日本語指定

 リュウは、埃っぽい古書を読み漁りながら、記憶を辿っていた。10年前、まだ幼かった彼は、師匠であるフリンの指示で、魔力調査のため、人里離れた小さな村を訪れていた。フリンは、稀に現れる特殊な魔力を持つ人間を探しており、リュウはその手伝いを任されていた。 村はずれの、苔むした石畳の道を歩いていると、古びた家屋の前に、腰の曲がった老人が座っているのを見つけた。老人は、庭で野菜を育てており、リュウは思わず声をかけた。 「こんにちは、おじいさん。何か手伝うことはありますか？」 老人は、顔を上げ、穏やかな笑顔でリュウを迎えた。 「おや、若い魔法使いじゃな。わしは、この村の庭師のゲンゾうじゃ。手伝うことは特にないが、もしよければ、わしの庭で少し休憩していきなさい」 リュウは、ゲンゾウの誘いに応じ、庭で休憩することにした。ゲンゾウは、リュウに庭で育てている野菜を振る舞い、畑仕事の合間に、様々な話をしてくれた。 「わしは、若い頃から、この畑で野菜を育ててきた。魔法の力は使えないが、土と対話するように育てれば、どんな野菜でも美味しく育つものじゃ」 リュウは、ゲンゾウの言葉に興味を持ち、畑仕事を手伝うことにした。ゲンゾウは、リュウに、野菜の育て方だけでなく、畑仕事に使う簡単な魔法を教えてくれた。 「これは、野菜の成長を促進する魔法じゃ。土に魔力を込めれば、野菜はぐんぐん育つ。ただし、魔力を込めすぎると、野菜は腐ってしまうから、注意が必要じゃ」 リュウは、ゲンゾウから教わった魔法を使い、野菜の成長を促進した。魔法の力で、野菜はみるみるうちに大きくなり、リュウは驚きを隠せなかった。 「すごい！本当に成長が早くなってる！」 ゲンゾウは、リュウの興奮した様子を見て、微笑んだ。 「魔法は、あくまで道具じゃ。大切なのは、土と対話し、野菜を慈しむ心じゃ」 ゲンゾウは、リュウに、他にも様々な魔法を教えてくれた。料理の味を良くする魔法、洗濯物を綺麗にする魔法、壊れた道具を一時的に修復する魔法など、どれも実用的な魔法ばかりだった。 「これらの魔法は、わしが若い頃に、旅先で出会った魔法使いから教わったものじゃ。生活を豊かにする魔法は、戦闘魔法ほど派手ではないが、人々の暮らしを支える大切な魔法じゃ」 リュウは、ゲンゾウから教わった魔法を、フリンに報告した。フリンは、リュウの報告に興味を示さなかったが、リ...

Gemma 3 動作環境と利用状況 Gemma 3 を動作させるための環境と、実際に利用してみた状況についてまとめました。 動作環境 GPU: RTX-3090 OS: Ubuntu 利用条件 Gemma 3 を利用するには、 Ollama 0.6 以上をインストールする必要があります。 実行コマンド 4Bモデル: ollama run gemma3:4b 12Bモデル: ollama run gemma3:12b 27Bモデル: ollama run gemma3:27b 利用感 個人または少人数での利用であれば、十分な性能を発揮できます。 GPU使用率は90%程度まで上昇しますが、それなりに利用可能です。 多人数での利用の場合、多少の待ち時間が発生する可能性があります。 GPUメモリが不足する場合は、量子化された軽量モデル、または12Bモデルなどを利用することを推奨します。

 確認中・・・・。 LLaMA-Factoryをセットアップ UI起動 データセット用意 解析 ーーー データセットの用意方法と解析用のパラメータを調査する

サンプルを試したら下記のようなエラーがでた  Error: (line 7): command must be one of "from", "license", "template", "system", "adapter", "parameter", or "message" from とかが全部大文字で書いていたけど、小文字にするのが正しいらしいです。

 やり方は、これから調べながらやる。 ollamaが動く環境があることを前提とする。 すでに、Docker使って、ollama + OpenWebUIの環境作って動作できている状態で そこからgemma2:9Bがいい感じに動いたので、独自の値を追加し当たらな情報を返したい 例えば、子どもの誕生日とか、特定の情報を追加してオレオレ生成AIを作っていきたい。 そしたら、思い出とかも追加して、いつ何があったか？とか出力してくれるのでは？と。

タイトルの通りです。 ただのこれからやってみるよ。　って言う　宣言です。 これから、実際にPCを構築して、動作確認していきます。 そのうち、更新していきます・・・。 とりあえず。 RTX-3090　で　LLM動かせた。 RTX-3090でOllamaを利用して動作可能な言語モデルは、 Gemma2:27B やdeepseek-r1:32bのあたりが限界でした。 これ以上大きい言語モデルはOOMが発生して、起動できなかったです。