日本語のローカルLLM（文章生成AI）をWindowsで動かす
日本語のローカルLLM（文章生成AI）をWindowsで動かす - Qiita
はじめにLLM^1は検索エンジンや翻訳ツールのように多くの人達にとって欠かせないサービスになりつつあります。ところが、ChatGPT、Gemini、ClaudeなどのLLMの代表的なサービスの多…
qiita.com
現状ではオンラインで使っていて問題ないし、ローカルLLMについては、今後もっと簡単にwinなどで直接使えるようになるだろうから、急ぐ必要はない。多分来年には、記事のように、まずPythonをどうして・・・ということも必要なくなるだろう。そのためのマシンも新規に開発されつつある。インテルも、AMDも、マイクロソフトも、レノボも、いろいろ発表している。
技術の進展により、モデルファイルのサイズが小さい、いわゆる軽量LLMが出てき始めた。
さらに、量子化というモデル内のデータのビット数を減らすことでモデル自身を小型化する方法も登場し、一般的なノートパソコンでもLLMを動かせるようになった。
Windowsで動く程度の軽量LLM（量子化版）でここまでのクオリティの結果になるのは予想外ですと紹介している。
－－－－－－
個人的な次の展望は、自分が過去に書いた論文や文章をデータとして、そこから文章や画像を生成してほしい。
また、同じようなことだけれども、誰か個人の全文章を読み込ませて、それをデータとして、新しいタスクを与えて実行させたい。また例えば、岩波書店の本全部をデータとして参照しながら作らせるというのもいい。岩波書店+朝日新聞の全データを参照して意見を作らせるのもよいと思う。
