OpenRouterにCrouton Alphaというステルスモデルがあったので試してみたら1分で終わりました。 出力速度も速いんだけど出力トークンが短い。そしてミスがないのでやり直しの必要もない。8並列で投げた結果すぐ終わった。 会話 生成 tok/s 生成tok TTFT 秒 推定思考tok トータル秒 Java最新版 90.3 1,026 45.8 ≈3,444 49.5 山口県 75.1 645 39.7 ≈2,577 42.9 ギャルっぽく 78.1 596 39.5 ≈2,801 43.5 ブロック崩し 175.1 1,684 34.7 ≈5,162 39.1 派手ブロック崩し 2…

Hy4の正式版が出ていました。Previewと同じサイズであれば770B-A49Bです。 https://hy.tencent.ai/research/hy4 今回はOpenRouterでTencent Cloudのものを使っています。FP4です。 https://openrouter.ai/tencent/hy4 $0.11でした。今は50%オフらしい。 大きな問題はないけど、770Bあるにしては物足りないです。 知識量はありそう。 カットオフ 2025年5月カットオフらしい。 書いてることも妥当そう。 山口県知識 特に間違いはなさそう。細かいことまで結構かかれてました。 毘沙ノ鼻はここです…

AIによって大量のコードが書かれてレビューもやってられない、っていうときに、それでも大事なところで変な動きをしないかどうにかして検証したくなります。 そんなときに形式手法ですよ。 で、Javaのロジックの検証を行うOpenJMLというツールがあるので、試してみました。 https://www.openjml.org/ 例として、こういうバイナリサーチを検証します。 public class BinarySearch { public static int searchBuggy(int[] a, int key) { while (low <= high) { int mid = (low +…

求人プラットフォームBOSS ZhipinのAI研究チーム、Nanbeige(南北閣)の33Bモデル、Nanbeige4.3-33Bを試します。 知識、日本語、表現力はちょっと怪しく、コーディングも単一ファイルの処理は書けるけど複合システムは難しい、みたいな発展途上を感じました。 ただ、エージェント動作としてはかなりよくて、ツール利用の失敗などもなく、手順もしっかりしていました。知識を問わずツールを呼び出すエージェントには使えるのかも。 たとえばなんらか事情があってアメリカモデル使えないとするとGemma 4やMuse Glimmerが使えないわけで、そうすると生活支援的なエージェントを動かす…

eMudhraという認証局の中間証明書の秘密鍵が8ビットしか有効じゃなく偽造放題ということで、これらの中間証明書を無効にする必要があります。じゃないと偽物のサイトに接続してしまう可能性があります。 eMudhraの中間CAの秘密鍵が公開された証明書から復元可能と判明、pip・uvなどの開発ツールに修正版 | gihyo.jp で、ブラウザはだいたい対応しているはずだけど、いろいろなプログラムがHTTPS接続を行っているので、そのプログラムからも中間証明書が無効にならないといけません。 そして、Javaも例外ではないのですね。たとえばMavenで偽物のリポジトリに接続してしまうと大変なことになり…

DeepSeek V4.1 Flash 1017を試してみたけど遅くて、パッチあてたら速くなったけどUnslothさんの実装のほうがよさそうなので試してみたら、これはほんとに使えるモデルってなりました。 まず賢いんだけど、Opus 5はちょっと足りないとは思うけどSonnet 5は超えてる感じがあります。つまり普通に使える。 DeepSeekはconst宣言した5行下で再代入したり、しょうもないエラーをよく出して、一発でコードが動くなんてことはなかったけど、Pagoda Gardenや街中戦車など長いコードをチャットで一発でエラーなしに出しています。 賢いだけならGLM 5.3でもいいんだけど…

Recursiveというサンフランシスコの会社がFlintという40B-A2.5Bのモデルを出していたので試しました。 Introducing Flint - Recursive 実用には足りないけど、最初に出したモデルとして40B-A2.5Bでここまで動くのはえらい、というところ。 こんにちは UnslothさんのUD-Q4_K_XLを使います。 https://huggingface.co/unsloth/flint-GGUF PRがブログ書いてるあいだにマージされていました。llama.cppの最新で対応しています。 https://github.com/ggml-org/llama.c…

DeepSeek V4.1 Flash 1017を試したのだけど、遅いしいつまでも結果が出ないしであきらめてました。 遅くなる原因と出力計算にバグありそうなのわかったので修正して試しなおしたら速くなってたけど、エージェントで動かない。 最初は27tok/secで出力していたものが、25000トークンで20tok/sec、10万トークンでは6tok/secまで遅くなったりしていたことと、計算間違いをしてそうという問題があります。 Pagoda Gardenは12万トークンでも結果がでなかったけど、これは繰り返しが発生してた可能性。 出力速度の落ち込みが激しいのは、DeepSeek V4.1 Fl…

Ornith1.5-122Bという、Qwen3.5-122B-A10Bの追加学習モデルが出ていたので試してみました。 コードはかなり書けるようになっていると思いますが、複雑なタスクで繰り返しが発生する問題は解決していないようで、使いかたは難しそうです。 こんにちは Qwen3.5-122B-A10Bの追加学習モデルなので、すでにllama.cppは対応しています。 UnslothさんのUD-Q4_K_XLを使います。 https://huggingface.co/unsloth/Ornith-1.5-122B-GGUF 51tok/sec出て速い。 山口県知識 追加学習で知識が消えてないか見ま…

DeepSeek V4.1 Flash 1017というのが出て、かなりベンチマークの数字がよかったので試してみました。 552B-A8B/16B-E196Bです。 ここで書いたように、Encoder-Decoderという形式でプロンプト読み込み時に後半のレイヤーを近似で飛ばすので、Prefill時A8B、Decode時A16B、そしてn-gramが196Bついているというアーキテクチャ。 後半レイヤー近似は、既存モデルでやってみても割と動いたりもしました。 とりあえず思考がクソながくて、今回は結果が見れませんでした。また明日。 ※ 10/21 遅くなり方が激しいのとかを対処してやりなおしました…

120B-A12BのNemotron 3.5 Super VLを74B-A9Bに圧縮して調整したNemotron 3.5 Boldを試します。 なにかが出来る気配があるけど、圧縮のせいか情報がだいぶ不正確になっているし、言葉遣いもちょっと変で、微妙。 Nemotron 3.5 Super VLについてはこちら。 構文解析のしくみ 電卓から言語処理系まで自分で書く作者:水島宏太KADOKAWAAmazon こんにちは UnslothさんのUD-Q4_K_XLを使います。 ただllama.cppの最新でも、Macだと32文字以上のプロンプトで落ちるので、このPRがmergeされるのを待つか自分でビ…

NVIDIAからNemotron 3.5 Super VLが出ていたので試してみました。120B-A12Bの画像対応モデルです。 https://developer.nvidia.com/blog/nvidia-nemotron-3-5-super-vl-powers-specialized-agents-with-multimodal-reasoning/ Nemotronは学習データやスクリプトなどをすべて公開している、数少ない「オープンソースLLM」です。性能的にちょっと不利な面はありますが、今回は日本語も自然で結構コードが書けるようになっています。エージェントでもコード編集やデバッグス…

AIに3Dゲームなどを作ってもらうと、もこもこした木を配置しがちです。 こういうの。 これを、こんな感じでリアルな木にするスキルを作ってみました。 ここからダウンロードして.claude/skillsなどにつっこめば、木を生成するときに使ってくれます。 https://kishida.github.io/webdemos/skills/procedural-lowpoly-trees.zip スキルのつくりかただけどまず「ゲーム用に、ポリゴン数を節約しつつリアルな木を生成するアルゴリズムと、そのuiをhtmlで作って」としてツールを作ってもらいます。 で、これを使ってゲームを作ってもらいます。…

Claude Codeはコードを書くのに便利ですが、画像を生成してくれません。ローカルLLMを使う場合もそうです。なのでゲームを作るとコードでキャラクタを書くことになりますが、ちょっと物足りない。 そんなところにQwen Image 2.1が出ました。ただ、VRAM 16GBだとGGUF使いたいし、Comfyのセットアップも面倒だしって思ったところに、Unsloth Desktopでも対応しました。 ということで、Unsloth DesktopでQwen Image 2.1を動かしてClaude CodeやOpenCodeから呼び出してみました。 Unsloth Desktopの導入と設定 U…

Opusさんは3Dモデリングが結構得意なんですけど、やはり車は難しいようで、かなり苦労した。 ここで帆船とか戦闘機とか作ってもらったけど、クルマのように正解がある複雑な曲面をもつ形をモデリングするのはかなり大変だった。 最初、骨格からつくってもらったら、なんかいい感じそうだったので期待した。 しかしできたのがこれ。 調整していったらこんなんなった。 そして、スカイラインらしさを出すために、クオーターパネルのプレスライン入れてもらおうと思ったら波打ってしまった。ボンネットも波打ってる。 微妙な曲線をあとからつくるのは難しそう。 ということでこれをいじっても欲しい形にたどり着きそうにないので、完全…

AstraがすごいとかOpusがすごいとか、一発プロンプトで作られたっぽい市販ゲームのような動画が流れるようになったけど、無課金だとどうだろうって試してたところ、Claude Sonnet 5.5が出てたので、試したらChatGPTに対して完全勝利でした。 プロンプト プロンプトはこれです。 3dスキーゲームを作りたい。 間を通り抜ければ点になるゲートと、ぶつかると後ろに跳ね返って減点になる木が下から上にスクロールする中をスキーヤーが滑り降りる。ゲートの端も減点。 ゲートをとおったときと木にあたったときにエフェクトがあるとうれしい。 左右に動くときにちょっと慣性がついてほしい。 ある程度すべり…

AIでだれでもちょっとしたプログラムを作れるようになっているので、業務をやってる人がシステム開発したけども全然使えない、みたいな話を聞くようになりました。 それで「業務をしっててもシステムは作れないのか」みたいな話が出ますが、システムを作れるほど「業務をしってる」という人はなかなかいなくて、多くは業務の作業を知っているだけです。 自分の担当外はよく知らなかったり、なぜその作業手順になってるか、それを変えるとどういう影響が出るかとかまでは、業務をまわしているだけではわかりにくいと思います。 業務全体のワークフローや状態遷移、データ構造をわかっているわけではないので、目に見える作業のUIを作って電…

DeepSeek-V4.1-Flashの仕組みをみて思ったんだけど、Encoder-Decoderモデルということになっていますが、実際のところはプレフィル時に後半の層のKVを近似モデルで埋める仕組みになってます。 DeepSeek-V4.1-Flashのアーキテクチャの雑な理解 - きしだのHatena なので、近似モデルさえ用意すれば既存のモデルにも適用できてPrefillの時間が半分になるんではないかということで、試したらちゃんと動きました。 DeepSeek-V4.1-Flashの場合は近似モデル前提で学習しているため、EncoderとDecoderの役割が明確になっているだろうからE…

GPT-6 Astraが3Dモデルをうまく扱えることで、かっこいい3Dをつくったりゲームを作ったりハエの操作を動画化する人がたくさんいます。 これ、エンタテイメント関連なので自分たちの業務には関係ないって思うかもしれませんが、3Dを扱えるということは案外多くの業務で役に立つかもしれません。 というのも、多くの業務が現実と接続するわけで、そして現実は3Dなので、AIが3Dを扱えれば現実を扱いやすくなり、業務にもいかせる場所があるはず。 ところでこの博多駅、Opusだと、写真を渡せばモデリング、とまではいきませんでしたが、博多駅ビルやKITTE博多のサイズは写真の画角から妥当なサイズにモデリングし…

DeepSeek-V4.1-Flashが出てて、V4の追加学習かと思ったら新しいアーキテクチャで、それがアテンションの工夫が変わりましたよってだけじゃなく全体の構成も他のモデルと違うので、違うところをまとめておく。 https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/main/DeepSeek_V41_Tech_Report.pdf 大きく違うのは、エンコーダー ・デコーダーモデルであるということ。 左のエンコーダー側は最初の2層がスライディングウィンドウアテンションで残りがスパースアテンション。右側のデコーダーは全部スパース…

Astraの登場でBlenderでの3Dモデリングが話題になっていますが、ローカルLLMでどのくらい3Dモデリングができるのか、GLM-5.3-Flash、Qwen3.8-Flash-Next、Qwen3.8-27B、DeepSeek-V4-Flash-Vision-Expの4つのモデルで試してみました。 帆船とは別に、SF戦闘機画像をわたしたものも作ってもらっています。 画像を渡してQwen3.8-27Bに3Dゲームを作らせるととてもいい - きしだのHatena 元々のQwen-Imageでの画像はつじつまがあっていないので、Geminiさんに3面図を作ってもらっています。 Opusさんが…

いま起きているのは成果物の爆発でありサイクルの短期高頻度化。AI対策ではなくプロセス変化の対策を考えないといけない。AIに対してどうこうではない。 という話をしていたのでまとめ。 AIによって作業がすぐに終わるようになって、サイクルが超短期にまわるようになって回転速度が速くなり、プロダクトの成長が速くなり、プロダクト自体の数も増えてきた。そこで変化するプロセスに注目するべきで、AIは道具でしかないので、AIをどうするかって観点だと少し道がそれたり局所最適になるんじゃないかと。 つまり、例えば「AIが書いたPRが読めない、どうするか」ではなく「プロダクトの成長速度が速くて細かいところまで見れない…

Qwen3.8-Flash-Nextという新しいアーキテクチャのモデルが出ていました。 Qwen3.8-Flash-Next: A New Architecture, Towards Ultimate Cost-Efficiency 変なアーキテクチャになってて、基本的に125B-A6BのMoEモデルなんだけど、51Bのルックアップテーブルをもってて、2層目は3-gramでこのテーブルを引きます。 アクティブが6Bと少ないからか、まだ実装がこなれてないためかわからないけど、ちょっと不安定な挙動がありました。でも、できるものは なかなかすごい。 今回はデモっぽいものを作るところまでで、もう少しさ…

Qwen3.8-27Bは画像に対応していて、画像どおりに3Dモデルを組むのも結構うまいので、画像を与えて3Dゲームを作らせてみました。 できる範囲で、かなり忠実に作ってくれています。一方、忠実に作りすぎるので、余計な表現があっても再現してしまうのと、Qwen3.8-27Bがもってる表現力に制約をかけてしまうことがあります。 画像なしでもここまで作ってくれています。 テキストのプロンプトのときと同様、モデルの能力を制限してしまわないよう、必要な情報を過不足なく適切に与える必要がありそうです。 そのためには、モデルを試しておいてどの程度の能力があるのか見ておくのは大切そう。 ソフトウェアデザイン …

Qwen3.8-27B、構文エラーをボロボロ出すんで、ほんとにコード実装できるのか疑問だったけど、Qwen3実行エンジンを修正指示なく組み上げました。 たまに止まってたので「続けて」を入れたくらい。これはシステムトークンの扱いを考えるときにホンモノの<|im_end|>などを出力してしまうから。それでも、2-3回だったので、かなりスムーズ。 あとプロンプトで外部ライブラリなしを指定してたのにライブラリ使おうとしてたので「外部ライブラリ使うな」って言ったりjinjaエンジンを実装しようとしてたのを止めたくらいか。 24万トークン9時間。 いま手持ちの性能評価タスクで一番難しいのがQwen3実行エ…

Qwen3.8-27Bはいろいろなアプリケーションを学習していますが、3Dモデリングやその操作もかなり学習してる気配があったので、いろいろ試してみました。 かなり色々なものを学習しているようです。また、音をつけることも学習してるようで、すべて音がついています。 ただ、ほぼ全てで単純な変数定義ミスやカッコの対応モレなど、ケアレスミスと言えるようなミスをいくつか出していました。この実装精度の悪さはちょっと気になるところ。 ※追記 画像を与えて作らせるのも楽しい ソフトウェアエンジニアリングの基礎 ―コーダーからエンジニアになるための実践ガイド作者:Nathaniel Schutta,Dan Veg…

UnslothさんのIQ3_XXSくらいまではサイズ削減に対してあまり性能が落ちず16GBで使うのにちょうどいいという話があるのでRTX 4060 Ti 16GBで試してみました。 それでもトークンには制限があるので、KVをQ8_0にしつつ、35000トークン程度でロードしてReasoning offで最初を作成、MTPをオフにしてロードしなおして50000トークン確保しつつReasoning onで修正・改修というのがよさそうです。 ソフトウェアエンジニアリングの基礎 ―コーダーからエンジニアになるための実践ガイド作者:Nathaniel Schutta,Dan VegaオライリージャパンA…

Qwen3.8-27Bが出てました。 https://huggingface.co/Qwen/Qwen3.8-27B 確かに賢い。でも、ベンチマークの3.6からの劇的な向上はThinkingの長さで捻り出してると思います。しかしそうするとエージェントではThinkingが長すぎて成果物が出てこない・・・ チャットでワンショットで「〜をつくって」ではかなりいいものを作ってくれます。 でも、エージェントでもThinkingでコードの検討をして、検討に検討を重ね、成果物が出てこない。 そしてエージェントでちゃんと動くようThinkingを調整するとベンチスコアも3.6からちょっと向上くらいに落ち着く…

Qwen3.8-2.4T-A95Bが出てたけど試せない、という人が多いですね。一番小さいUnslothさんのところのQ1_0でも384GBで、現実的にMac Studio 512GBくらいしか動かせるマシンがありません。 ただ、実際に動くときに必要なのは95Bパラメータ分、1bit量子化なら20GBのメモリがあればどうにか動かせるはず。 そして128GBマシンを持つ人なら割といる。 ということで、MoEのexpertを必要なものだけSSDから読み込むSSDストリーミングを実装したQwen3.xエンジンを作ってたので、これを使うと128GBメモリのマシンでもQ1_0が動かせると思います。 元々は…

Qwen3.8-2.4T-A95Bが出ていたので、Unslothさんの1bit量子化版を試します。 397GBでMac Studio 512GBに余裕で乗りますね。 ということでいろいろ動かそうと思ったけど、やはり1bit量子化だとかなり性能劣化してそうな感じでした。 動いてえらい枠。 このスレッドで過程をまとめてます。 ブラウザで動かすLLM実装入門 Google Colaboratoryで実践するLLM・RAG・ファインチューニング作者:中西崇文インプレスAmazon ビルドと実行 今回はUnslothさんのUD_Q1_0を使います。 https://huggingface.co/unsl…