GeForce RTX 3090でGemma3:27bをUbuntuで動かす

-

GeForce RTX 3090でGemma3:27bをUbuntuで動かす

はじめに

近年、大規模言語モデル（LLM）のローカル実行が注目を集めています。クラウド環境に依存せず、オフライン環境でもLLMを利用できるメリットは大きく、特にプライバシーやセキュリティを重視するユーザーにとって魅力的な選択肢です。本記事では、高性能GPUであるGeForce RTX 3090を搭載したUbuntu環境で、Gemma3:27bというオープンソースのLLMをOllamaとOpenWebUIを用いて実行する方法を解説します。

GeForce RTX 3090とローカルLLM

ローカルLLMのパフォーマンスは、GPUの性能に大きく依存します。GeForce RTX 3090は、24GBのVRAMを搭載しており、Gemma3:27bのような大規模モデルを扱うのに十分な性能を備えています。VRAMの容量が大きいほど、より大きなモデルを扱ったり、より大きなバッチサイズで推論を実行したりすることが可能になります。これにより、応答速度の向上や、より複雑なタスクの実行が可能になります。

Ubuntu環境の構築

ローカルLLMを実行する前に、Ubuntu環境を構築する必要があります。Ubuntu Desktop 22.04 LTSを推奨します。インストール後、NVIDIAドライバをインストールし、CUDAツールキットをインストールする必要があります。NVIDIAの公式ドキュメントを参照して、適切なドライバとCUDAツールキットをインストールしてください。

sudo apt update
sudo apt upgrade
sudo apt install nvidia-driver-535
sudo apt install nvidia-cuda-toolkit

Ollamaのインストールと設定

Ollamaは、LLMのダウンロード、実行、管理を簡素化するツールです。以下のコマンドを使用して、Ollamaをインストールします。

curl -fsSL https://ollama.com/install.sh | sh

インストール後、Ollamaを起動し、Gemma3:27bをダウンロードします。

ollama run gemma3:27b

初回実行時には、モデルのダウンロードに時間がかかる場合があります。

OpenWebUIのインストールと設定

OpenWebUIは、Ollamaと連携して、WebブラウザからLLMにアクセスできるWebインターフェースを提供します。以下のコマンドを使用して、OpenWebUIをインストールします。

docker run -d -p 8080:8080 --name openwebui --restart always ghcr.io/open-webui/open-webui:latest

インストール後、Webブラウザでhttp://localhost:8080にアクセスすると、OpenWebUIのインターフェースが表示されます。OpenWebUIの設定画面で、OllamaのAPIエンドポイントを設定します。デフォルトでは、Ollamaはhttp://localhost:11434でAPIを提供しています。

Gemma3:27bの実行とテスト

OpenWebUIのインターフェースから、Gemma3:27bを選択し、プロンプトを入力して推論を実行します。応答速度や精度を確認し、必要に応じてパラメータを調整します。Gemma3:27bは、テキスト生成、翻訳、質問応答など、さまざまなタスクを実行できます。

パフォーマンスチューニング

GeForce RTX 3090の性能を最大限に引き出すために、いくつかのパフォーマンスチューニングを行うことができます。例えば、CUDAのコンパイルオプションを調整したり、バッチサイズを調整したり、量子化などの手法を使用したりすることができます。これらの手法を使用することで、応答速度を向上させたり、VRAMの使用量を削減したりすることができます。

まとめ

本記事では、GeForce RTX 3090を搭載したUbuntu環境で、OllamaとOpenWebUIを用いてGemma3:27bをローカルで実行する方法を解説しました。ローカルLLMは、クラウド環境に依存せず、オフライン環境でもLLMを利用できるメリットがあり、プライバシーやセキュリティを重視するユーザーにとって魅力的な選択肢です。本記事を参考に、ローカルLLM環境を構築し、さまざまなタスクに活用してください。

この記事はAIによって作成されました。

コメント

コメントを投稿

このブログの人気の投稿

【Android】WebViewのズームボタン（ピンチイン・ピンチアウト）を非表示にする方法

-
androidでWebView画面を作成する時に、 ピンチインとピンチアウトを有効にした場合、 拡縮コントローラーのボタンを非表示にしたい時のメモ。 (ズームイン、アウトするボタンの事です。) あれが表示されると、結構うざい時がありますよね？ // WebViewのインスタンスを取得 WebView webview = findViewById(R.id.webview); // WebSettingsを取得 WebSettings settings = webview.getSettings(); // ピンチイン・ピンチアウトを有効にする settings.setSupportZoom(true); // 内蔵ズームコントロールを有効にする settings.setBuiltInZoomControls(true); // ズームコントロールのボタンを非表示にする settings.setDisplayZoomControls(false); // ←これが大事 この設定はAndroid APIレベル11以上でサポートされています。 ちょっと検索かけると、 消す方法がリフレクションして消すような古い記事しかなかったので探すのに苦労しました。
続きを読む

【iOS】SwiftでCGAffineTransformから角度・ラジアン・度数・スケールを計算する方法

-
メモ Swift 4 でtransformから角度、ラジアン、ディグリー、スケールを求める 忘れがちなので・・・。 let transform = view.transform let radians = atan2(transform.b, transform.a) let degrees = radians * 180 / .pi let scale = sqrt(abs(transform.a * transform.d - transform.b * transform.c)) import CoreGraphics extension CGAffineTransform { var angle: CGFloat { return atan2(b, a) } var radians: CGFloat { return angle } var degrees: CGFloat { return angle * 180.0 / CGFloat.pi } var scale: CGPoint { return CGPoint(x: sqrt(a * a + c * c), y: sqrt(b * b + d * d)) } } // 例として、適当な CGAffineTransform を作成 let transform = CGAffineTransform(rotationAngle: CGFloat.pi/4).scaledBy(x: 2.0, y: 1.5) let angleInRadians = transform.radians let angleInDegrees = transform.degrees let scale = transform.scale print("Angle in radians: \(angleInRadians)") print("Angle in degrees: \(angleInDegrees)") print("Scale: \(scale...
続きを読む

Blogger Sitemap登録エラー解決

-
Blogger Sitemap登録エラー解決 はじめに ブログ運営において、検索エンジンへの登録は非常に重要です。特に、Google検索にブログのコンテンツを適切に認識してもらうためには、 Search Console への登録と、 sitemap の登録が不可欠です。しかし、 Blogger で作成したブログのsitemapを Search Console に登録しようとすると、エラーが発生することがあります。本記事では、その原因と解決策について詳しく解説します。 BloggerのSitemapとは？ Blogger は、ブログの更新情報を自動的に生成するsitemapを提供しています。このsitemapは、ブログのすべての投稿やページをリストアップし、検索エンジンがクロールしやすいように構造化されています。通常、sitemapのURLは「/sitemap.xml?alt=rss」のようになっています。このURLは、ブログのURLに直接アクセスすることで確認できます。このsitemapが正しく機能しているかを確認することも重要です。 Search ConsoleへのSitemap登録で起こりうる問題 Search Console にsitemapを登録する際、以下のようなエラーが発生することがあります。 Sitemap could not be read: ファイルが読み込めないというエラー。 Sitemap is invalid: sitemapの形式が正しくないというエラー。 Sitemap contains errors: sitemapにエラーが含まれているというエラー。 これらのエラーが発生した場合、sitemapのURLが間違っているか、sitemapの形式が正しくない可能性があります。また、robots.txtでsitemapがブロックされている場合も登録できません。 ...
続きを読む