Qwen3.8-2.4T-A95Bが出ていたので、Unslothさんの1bit量子化版を試します。 397GBでMac Studio 512GBに余裕で乗りますね。 ということでいろいろ動かそうと思ったけど、やはり1bit量子化だとかなり性能劣化してそうな感じでした。 動いてえらい枠。 このスレッドで過程をまとめてます。 ブラウザで動かすLLM実装入門 Google Colaboratoryで実践するLLM・RAG・ファインチューニング作者:中西崇文インプレスAmazon ビルドと実行 今回はUnslothさんのUD_Q1_0を使います。 https://huggingface.co/unsl…

NVIDIAから出たNemotron 3.5 Lightningを試します。 NVIDIA Nemotron 3.5 Lightning Delivers Fast, Accurate Specialized Task Execution for Long-Running Agents | NVIDIA Technical Blog サイズは30B-A3BでMamba 2ベースの線形アテンション採用モデルです。ライセンスはOpenMDW-1.1。 Nemotron 3 Nanoをエージェント対応にファインチューンしたものという感じ。 Nemotron 3 Superを試す。コードは堅実に書ける…

MetaからMuse Glimmer 30Bというモデルが出ていました。 Introducing Muse Glimmer: An Open Agentic Model That Runs on Your Device | Meta AI Research マルチモーダルなDenseモデルです。 ベンチマークで、SWE-Bench ProがQwen3.6-27Bよりちょい上、Verifiedがちょい下というスコアだったので期待しつつ。 こちらで過程をまとめてます。 コードはそこそこ書けるものの、Qwen3.6-27Bにはぜんぜん及ばない感じ。Gemma 4よりは書ける。 言うことは聞かないし、…

Java 28ではPreviewとしてJEP 401: Value Objects(Preview)が導入されます。 https://openjdk.org/jeps/401 で、Value Objectsってなんじゃ、となるわけですが、雑にいうとIntegerやLongなどラップクラスのオブジェクトやLocalDateなどdate timeのオブジェクトが==で比較できるようになります。 JDK 28のEarly Access Build 10から--enable-previewをつけて利用可能です。 https://jdk.java.net/28/ つまりこう。 jdk-28-ea10>b…

韓国UpStageの250B-A15Bのモデル、Solar-Open2-250Bを試します。 ライセンスはUpstage Solar Licenseで、Apache-2.0をベースに、派生モデルへのSolar提示を求めるライセンスです。 どうも難しいタスクで繰り返しが発生しそうな気配なので、他にいいモデルがあることを考えると使う候補にするのは難しそう。 ただ、韓国でソブリンAIとしてこのレベルのモデルがあるのはいいですね。 GGUFの実行 今回はこちらのQ6_Kを使います。 https://huggingface.co/prometheusAIR/Solar-Open2-250B-GGUF l…

128GBメモリのマシンで動かすのに最適サイズのStep-3.7-Flashを試します。 StepFunは日本ではあまり目立ってないけどZ.aiやMoonshotやMiniMaxと並んでSix AI Tigersに数えられている会社です。 音楽生成のAceStepのStepのほう担当。AceはAce Studio。 ちなみにSix AI Tigersはベンチャーキャピタル支援の企業ということなので、DeepSeekは含まれてません。 llama.cppではすでにMTP対応も含めサポートされています。DGX SparkでMTPを使うとかなり速くなる模様。 基本的なコードはなんなく動かすし、ここで…

Poolsideというアメリカ拠点の企業が出した118B-A8BのLLM、Laguna-S-2.1を試してみます。 llama.cppではb10173で対応してるので、LM Studioでも動くはず。 https://github.com/ggml-org/llama.cpp/releases/tag/b10173 知識がかなり怪しくてコーディング全振り感あるけど、エージェント動作はかなりしっかりしてます。知識をちゃんと与えてやれば、それなりにはコード書けると思います。 Inklingと同じく、中国系モデルが使えないなら貴重、という感じです。Ling-3.0-Flashがちゃんと動けばそちらの…

Ant Lingというところから、124B-A5.1BのLing-3.0-Flashというのが出ていたので試そうと思ったけどllama.cppでもmlxでも出力が変なのでOpenRouterで試しました。 過程はこちらのサブスク投稿でまとめてます。 どうにもローカルでうまく動かなかったので、OpenRouterでfreeで使えたのでこちらを試しています。 ※8/9追記 終わってた llama.cppで使う場合 llama.cppでの対応はこちらですがまだマージされてません。 BailingMoE3 Support by aetherbird · Pull Request #26608 · gg…

いまサイズの割にパフォーマンスがよくて400B以下で最強と思っているモデルが、TencentのHy3です。 コーディングエージェントにはアクティブ20Bが必要と思っていて、知識も300Bくらい欲しいと思っているのだけど、Hy3の295B-A21Bというのがちょうどそのサイズです。 いつものUnslothさんからは量子化がでていないので、同じく性能の高い量子化を提供してるBartowskiさんのモデルを使います。 bartowski/Hy3-GGUF · Hugging Face コードちゃんと書けるし、無駄なトークンを使わないし、指示に従うし、素直で使いやすいモデルという印象です。 表現力は弱…

DeepSeek-V4-Flash-0731のベンチマークスコアが派手だったことで、ローカルLLMへの注目が一段と高まりましたね。 サイズ5倍のモデルを越える性能とかで、もうローカルLLMでいいんじゃないか、とか。まあ実際に使うとサイズなりよりちょっと弱いくらいの性能なんだけど、期待感が高まった。 で、そんな中で「LLMに投資しても元が取れんのだからおとなしくサービス型モデルを使っておけ」みたいな話もちらほら流れてきます。 けど、最近は、それなりのパソコンを買ったら当たり前にLLMがバンドルされて動くという世界になりつつあります。 パソコン買ったらLLMがついてくる 例えば、HP製の日本向けP…

Kimi K3を動かすためにMac Studio 512GBをもう一台 借りてきたので、試してみました。 今回はllama.cppでUnslothさんのところのQ2_K_XLを動かします。 速度は4.3tok/secと遅いけど、なんか外で嫌なことがあっても「うちではKimi K3が動いてるんだぜ」でがんばれる気持ち。 ただ、llama.cppの分散推論がパイプライン並列で速度が出ないので、後日テンソル並列で動かせるmlx-lmで試していろいろ動かそうと思います。 今回はPAGODA GARDENだけ。 こちらのサブスクのほうに動かす過程をまとめてます。 Kotlinによる関数型プログラミング入…

前回、llama.cppでDeepSeek-V4-Flash-0731を動かして芳しくなかったので、エンジンの実装の問題かと、今回はDwarfStarで試してみました。 DeepSeek-V4-Flash-0731を試す。コーディングにはお勧めできない。 - きしだのHatena こちらのサブスクのほうに過程をまとめてます。 で、まあ生成の評価がよくないのは変わらないけど、スピードは4倍になったので、動かすときはllama.cppよりもDwarfStarがいいです。SSDオフロードもあるので、128GBメモリのMacでロスレスのMXFP4版(168GB)が動かせます。 今回だと、Thymele…

Previewとして出ていたDeepSeek-V4-Flashの正式版、DeepSeek-V4-Flash-0731が出てたので試します。 https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731 UnslothさんのQ4_K_XLを使います。 https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF ※ Q8_K_XLがロスレス変換でQ4_K_XLとは7GBしか違わないので、Q4_K_XLは使わないほうがよさそう。 過程はこっちのサブスクにまとめてます。 とりあえず、コーディ…

Thinking MachinesからInkling-Smallが出ていたので試しました。 Thinking Machinesは元OpenAIの研究者が共同創業したサンフランシスコの会社です。 ミラ・ムラティのThinking Machines Lab、初の製品「Tinker」を発表 | WIRED.jp Inkling-Smaillは276B-A12Bで、975BのInklingの小型版。 日本知識は結構ありそうだけど、表現力はない。Thinkingが長いので一問一答には向かない。コードは書けるけど融通きかなそう。 でも、中国系モデルが使えないところにはよさそう。 UnslothさんからGG…

対話型世界シミュレーションモデルのAbot-Worldというのが出てました。 一枚の写真から、それっぽい世界を動き回れるというモデルです。 https://github.com/amap-cvlab/ABot-World ちなみに、モデルがAbot-World-0の5BでAbot-World-0-5B-LFになってるので0.5Bかと思うけど、5Bです。 これが、シングルGPUで動くってことなんだけど24GB VRAMが必要で、そしてLinux専用だったので、いろいろ削減して12GB VRAMでWindowsで動くようにしてみました。 メインメモリをかなり食うので、32GBは欲しいです。 修正点…

最近の大きいモデルはたくさんのExpertを用意してトークンごとに必要なExpertを使って推論するMoE(Mixture of Experts)が主流です。 そうなると、どんな感じでExpertが選ばれてるのか気になりますね。 ということで、Qwen3とLFM2.5のMoEモデルでExpertを可視化してみました。ブラウザで動きます。 https://kishida.github.io/QwenQwen3.js/html/router-viz.html 対応モデル 対応モデルはQwen3とLFM2.5です。で、たぶんQwen3-235B-A22Bも動かせるのだけど、メモリ的に無理。 というこ…

Qwen3.6-27Bが4GBくらいのメモリで動くというBonsai 27Bを試してみました。 0/1の2値で1bitでの量子化と、-1/0/1の3値(Ternary)で1.7bitでの量子化があります。 これ自体はあまり使えないけど、もっと大きいモデルでやるといいのかもしれない。 https://prismml.com/news/bonsai-27b 実行 1bit版はすでにllama.cpp本体に取り込まれてるので、本家のバイナリが使えます。なのでLM Studioからも動かせます。 Ternary版はMacとAMD系GPU(Vulkan)、CPUで動かす場合はllama.cpp本家が使え…

アメリカでAIを理由にした解雇の話が話題になったりしていたけど、これがそのまま日本に当てはまるかというと、状況が少し違うかもなと思った。 DX白書2023を見ると、2022年度時点で「DXを推進する人材」が「やや過剰」「過不足はない」とした会社は日本が10.9%、米国が73.4%。 アメリカに関しては18.3%が「やや過剰」となっている。つまり、AI以前からアメリカでは人材過剰ぎみだった。 内容を見てみるとこんな感じ。 アメリカでは「プロダクトマネージャー」は過剰が31.6%になってるのはじめ、エンジニア/プログラマまですべて「過剰」が15%前後。「過不足はない」を含めれば50%を越える。「プ…

コーディングエージェントがコードを書いてくれるので、プログラミング言語とかコーディングの勉強の必要性は下がっているわけですが、それでもちゃんと開発を行うための能力というのは必要です。 で、それを勉強しようとしたとき、どう変わるか。 まず、コーディングエージェントを使って入門をしようとすることを考えます。 ここで、「ブロック崩しつくって」のような単純なものだと一発で作ってくれて人間の能力が不要なので、入門題材に使えません。 Hello world的な、開発環境の動作確認であれば問題ないけど、開発能力を鍛えようとすると使えません。 なんなりか躓きポイントがあるほうがいいのだけど、最近のAIさんを躓…

なんか出てた。メモリがそんなにないしコード書かないし、というところにちょうどよさそうなので、UnslothさんのところのQ4_K_XLで試してみたんだけど、要約や翻訳、ロールプレイなど、コーディング以外で使うには結構よさそう。 Qwen3.5はよかったけど9Bは少したりず、Qwen3.6やGemma 4が4月に出たときは性能十分ってなったけど26B以上は手軽に動かせず、というところに12Bというのはとてもいいサイズ。 最初は壊れていたけど「寝て起きたらなんか直ってめちゃ使えるってなるのに期待」と書いて寝て起きたら直ってた。なので、内容はあわせて16時に更新しています。 google/gemma…

「AIが人間にわからないコードを書くようになる」という話、割とよくみかけるので書いておきますね。 これ、「AI専用の言語があらわれる」「AIが直接バイナリを吐く」の亜流です。 AI専用の言語があらわれない話はここ。 AI専用のプログラミング言語は現れない - きしだのHatena AIがバイナリを吐くようにならない話はここ。 AIがバイナリを直接吐くようにはならない - きしだのHatena というか、AIが読み書きするコードも読みやすいほうがいいという話をすでに書いていた。 AIが読み書きするコードも読みやすいほうがいい(トランスフォーマの特性の考慮やリーダブルコードについて追記) - きし…

いままでの流れ モデル 実際の比較 量子化の中身 ハードウェア 高速化技法 MINISFORUM M2 ミニPC インテル Core Ultra 7 356H DDR5-5600MHz 32GB 1TB SSD Windows 11 Pro 2.5G LAN × 2 Wi-Fi 7 BT5.4 HDMI 2.1 DP USB4 小型デスクトップPCMINISFORUMAmazon

ローカルでコーディングエージェントするために使えるLLMもまとめておきます。 モデルと傾向 いまコーディングエージェントで使えるかなというモデルはこのくらい。 モデル パラメータ アクティブ アテンション 層 埋め込み Qwen3.6 27B Dense 線形 64 5120 Qwen3.6 35B A3B 線形 40 2048 Gemma 4 26B A4B スライド 30 2816 Gemma 4 31B Dense スライド 60 5376 Qwen3.5 122B A10B 線形 48 3072 Step 3.7 Flash 198B A11B MiniMax M2.7 230B A1…

ちょっと、おうちで動くLLMを振り返ってみます。 年間を通してではなく、毎年の3-4月くらい、16GB VRAMのGPUで動くくらいのモデルがどんな状況だったかをみてまとめるとこんな変遷 動いてえらい(2023)->返答がまとも(2024)->返答が使える(2025)->こだわらなければ使える(2026) 2023「動いてえらい」 最初に動かしたのはChatRWKVというモデルですね。TransformerではなくRNNを使うモデル。 おうちの8GB VRAM GPUでChatRWKVと会話する - きしだのHatena こんな感じ。「寿司は好き？」って聞いたら英語でそれっぽい返事してくれてる…

LLMを動かすハードウェア、軽くまとめておきます。 SoC LLMを動かそうとしたら、まず候補にしたいのはCPU+NPU+GPUのSoCが載ったマシン。 GPUカードのようなパフォーマンスは出ないけど、現実的な値段で大きいモデルが動かせます。 ※ 追記(2026/5/14) 現状ではMacだけ普通で他は特別なマシンという感じですが、インテルも対応した今後は「パソコンを買ったらLLMが動かせる。せっかくLLM動かすならちょっとお金を足して30Bが動く程度にメモリ積もう」となるんじゃないかと思います。 Ryzen AI Max+ 395搭載の128GBのEVO-X2が48万円、と思ったら品切れ・・…

Qwen3.6-27BのMTP対応GGUFがUnslothさんのところから出ていたので試してみたところ、出力内容によって性能変わったので、ドラフトモデルの想定ユースケースに近いことが大事かもしれない、って話 MTP(multi-token prediction)は、軽いモデルにあらかじめ3トークンくらい出力させておいて、本番モデルで確認して当たればラッキー、外れてもそんなに損しない、なので推論が速くなるよって仕組みです。 Multi-token-prediction in Gemma 4 で、UnslothさんがMTP対応のQwen3.6を出していたので試していました。 https://hug…

ggufはLLM推論エンジンllama.cppの重みデータフォーマットですが、Hugging Faceではモデルの構造が確認できます。 ということで、Hugging Faceでモデルの構造を見てみます。 コードやアルゴリズムを見てLLMを学ぶというアプローチはよくみますが、実際のモデルの構造をみてLLMを学ぶというのもいいんじゃないかと。 モデルを探す まずはモデルのリポジトリ 「モデル名 + GGUF」で検索します。 たとえばQwen3.6-27Bであればこんな感じ モデルのファイルを確認 Files and versionsにいきます。 そうすると、量子化ごとにファイルがあります。大きいモ…

「ループの変数、i, jのあと悩むよね」「ループは2重まで。問題ない」というネタ的やりとりがあったのだけど、実際に「ループは2重まで」というのはコーディングの基準として割と受け入れられて、そしてそれで実務的にまわりがち。 でなぜか。 多くのアプリケーションの範囲では、まとまりのあるループとしては2重までがほとんどで、3重ループというのはあまり出てこないんじゃなかろうか。 つまり、 for (i) { for (j) { なにか処理 } } のように、ループの一番内側までアプリケーション的な処理がない、あっても前処理後処理的なもの、というのはだいたい2重まででは、という仮説。 まとまりのある3重…

ゴールデンウィーク前にDeepSeek V4が出ていたのですが、機構がこれまでと違いすぎてなかなかllama.cppなどに入らなくて試しにくかったところ、Redis創設者のAntirezさんがコンパクトな推論エンジンds4.cをApple Silicon専用でつくっていたので試してみました。 ※ 5/12追記 名前がDwarf Star 4になって、CUDAにも対応しています。 DeepSeek V4には1.6T-A49BのProと284B-A13BのFlashがありますが、今回はFlashに対応しています。 deepseek-ai/DeepSeek-V4-Flash · Hugging Fa…

「AIしかコードを書かず人間が理解できる必要がないのであれば、プログラミング言語を使う必要がなく消滅し、機械語のコードをAIが出力すればいい」という趣旨の記事があった。 プログラミング系技術専門サイトであれば、「プログラミング言語というのはこういう役割であり、現在のAIはこういう特性であるから、AIが直接機械コードを出すことはない」という話を本来は やってほしいところだけど、ここでまとめておく。 プログラミング言語の基礎概念 ((ライブラリ情報学コア・テキスト))作者:五十嵐 淳サイエンス社Amazon AIが直接バイナリを吐くようにはならない で、バイナリを吐くようにはならないという話はここ…