【前提（執筆時点）】
・この記事は2026年1月26日時点での思考整理・実験設計メモです
・ローカルAIの評価は、定量比較ではなく主観的観測を含みます
・本記事は結論を出すことよりも、問いを明確にすることを目的としています
【この記事の性質】
・AIとの対話実験における観測軸・思考フレームの整理
・技術検証というより、実験設計と思考の前提条件の言語化
【未確定事項】
・どの観測軸が、AIの「違い」や「らしさ」を捉えるのに有効かは未確定
・今後の対話を通じて、評価視点や問いの立て方が変化する可能性がある
・現在の思考フレーム自体が、最適かどうかは検証途中
作業目標
『本を一冊RAGし、AIの知識をアップデートする』
1.Anything LLMの導入（知能の器）
作業：Anything LLMをインストール。LM Studioをバックエンド（エンジン）として接続。
目的：単なるチャットではなく、資料を読み込ませるための「ワークスペース」を構築するため。
結果：UIが格段に使いやすくなり、複数のAIモデルを用途別に管理できるようになった。
※Anything LLMとは
「オールインワンAIワークスペース」
AIと対話するだけでなく、PDFなどのドキュメントを読み込ませて（RAG）、自分専用の「知識ベース」を作るためのツール。
2.自炊PDFのRAG試行（知識の注入）
作業：末次拓人さんの著書『大規模言語モデル入門』の自炊PDFをAnything LLMにアップロード。
試したこと：RAG（検索強化生成）の設定。AIがPDFの内容を「参照」しながら回答できるかテスト。
結果：クラウドAI（chatGPTなど）が知らないはずの、その本にしか書いていないマニアックな質問に対して、正確な答えが返ってきた。
※RAGとは
「Retrieval Augmented Generation（検索強化生成）」
LLM単体では知らないような専門的な知識を持つ必要がある場合、RAGを用いることで、関連する論文や書籍などのデータを検索して組み込み、より的確な回答を生成する事ができる。
3.「ジェム先」の命名とキャラクター固定
作業：システムプロンプトをさらに精査。
出来事：PDFを読み込ませたワークスペース内で複数スレッドを作り検証していた。Llamaでいくつかのスレッドを作り検証した後にGemmaに切り替えた際スレッド名を「ジェム末次先生」とした。LlamaとGemmaで比較した際にRAGをしたAIモデルはGemmaを採用したため、Geminiとの会話でRAGしたGemmaがよく出てくることから、
Geminiと会話する上で便宜上、だけど親しみを込めて「ジェム先」と略したあだ名をつけた。
4.エラー等
エラー：Llamaで動かした際に、システムプロンプトをどういじっても２回目の返答以降英語で返ってきていた。試行錯誤したが改善させる事ができなかった。そのため、RAG後のLlamaでの検証が充分に出来なかった。
解決：Gemmaで試したところ簡単なシステムプロンプトでしっかり日本語で会話を続けてくれた。RAG前と後でモデルの挙動が変わることを知った。
【今回やって一番楽しかったこと】
RAG後のAIの変化が衝撃的だった。「自分のPCの中に、自分の持ってる本の内容を全部覚えている専門家が住み着いた」という感覚は初めてのものだった。
また、僕はchatGPTには「チャッピー」Geminiには「ジーニー」と名前を付けて呼んでいるが、今回のローカルAIに付けた「ジェム先」という愛称は今回の過程の中でしか生まれなかったものなので、とても愛着が湧いた。
【一番しんどかったこと】
RAG後のLlamaとの格闘がとにかく頭を悩ませた。どんなにシステムプロンプトで強力に縛っても、二言目には英語を使うLlamaにはお手上げだった。
また、『大規模言語モデル入門』は約200ページ強ある本だが、まだ入院中だったため、病棟の休憩スペースで消灯時間が迫る中一人iPhoneで写真を撮って、メモアプリでPDF化してクラウドに上げたものをAnything LLMに読み込ませるという作業はシンプルに大変だった。
【想定外だったこと】
しんどかったことと同じことになるが、RAG後のLlamaがいきなり日本語を喋らなくなったこと。Gemini曰く、
「Llamaは英語の論理構成や、膨大な知識量、コードを書く能力は世界最高峰。日本語の「行間を読み、親しみやすく話す」のは少し苦手な、いわば「超エリートな外国人教授」。」
と表現していて、上手いこと言うなと思った。
【これは将来使えると感じた要素】
RAGというAIの拡張方法は、様々な可能性が広がると思った。
何を入れ込むかで、知識のアップデートが無限大だ。GeminiのようなGoogleのデータを縦横無尽に参照出来るAIに敵うものは無さそうに思えるが、「参照できるデータが無限にある」ということは、回答がブレるということでもあるんだと理解した。
決めた方向性にきっちり尖らせることで、最新のクラウドAIを超えた使い心地は実現できると思う。
コメント