開発プロセスの中でLLMを使うやり方を、個人の工夫ではなくチームの運用として回し始めて、3ヶ月ほど経ちました。区切りがいいので、LLMOpsの振り返りとして、変わったことと変わらなかったことを分けて書いておきます。うまくいった話だけを残すと、次に何を直すべきか自分たちでも見えなくなりそうなので、変わらなかった側もそのまま書きます。なお、LLMOpsという言葉は、LLMを組み込んだプロダクトの監視や評価を指すことが多いと思います。この記事で扱うのはそちらではなく、要件定義やドキュメント、レビューといった工程でLLMを継続的に使うための運用のほうです。言葉の使い方として少しずれている自覚は...

今GDE（Google Developer Expert）が公開したオープンソースカリキュラム 『AI Engineering from Scratch』（20フェーズ・523レッスン）がエンジニア界隈で注目を集めています。https://aiengineeringfromscratch.com/?utm_source=geminiこの教材の大きな特徴は、既存の高レベルなラッパーライブラリを極力使わず、数式や低レイヤーのプロトコル仕様をスクラッチで実装させてからPyTorchや公式SDKへ移行するという骨太なアプローチにあります。今回はその中から、モデルとツールの接続規格である P...

LLM のエージェントに作業をさせるとき、危ないコマンドを止めるための hook を入れます。私の環境では160セッションで822回ブロックしていました。ところが、本番のデータベースへ DDL を適用したコマンドは、その hook を一度も通っていませんでした。一方で、使い捨てのコンテナに対する DROP は3回止まっています。ブロックの回数は、守られた量を測っていませんでした。この本は、自分が入れたガードレール（hook・検知器・記録）が実際に何を止めて何を通しているのかを数え上げる手順をまとめたものです。コマンドの区切りを越える正規表現、同じ結果に届く別の書き方、書いた形でしか効かない例外、迂回と解決の違い、hook に届かない承認、内訳が空のまま積み上がる集計、原因まで特定されて71日間適用されない提案を扱います。付録には、コマンドを実行せずに hook へ流して BLOCK/PASS の表を出す棚卸しツールを全文載せました（標準ライブラリのみ）。最初の3チャプターは無料で、読み終える頃には自分のガードレールの穴が表になっています。

この記事でやったことOpenAI Responses API で web_search + code_interpreter + 自作のRAGツールを持たせたリサーチエージェントを作り、実務的なコンサル調査クエリを1本投げて、返ってきたストリーミングイベント6,556件を全部記録して解析しました。「ReActエージェントは幅優先で調べるのか深さ優先なのか」「web_searchは並列で叩けるのか」「reasoningはどういう形で返ってくるのか」「引用(citation)はどう構造化されるのか」といった、ドキュメントを読んでも書いていないことを実データで確認した記録です。最後に...

最近、文章を書かずに判断だけを返すAIモデル「Jev」が話題になっています。私もJevにマリオやVampire Survivorsを操作させて遊んでいたのですが、発表から数日で解説記事、実用例、オープンな類似実装が一気に増えてきました。情報を追いかけるのが大変になってきたので、2026年9月20日時点の情報を雑にまとめておきます。!Jevは公開直後のサービスです。性能、料金、API仕様、公開実装の状況は今後変わる可能性があります。 JevとはJevはTypeSafe AIが公開した「System One Model」の最初のモデルです。通常の大規模言語モデルのように文章を1...

Zennやnoteの記事、README、設計書など、他人に見せる文章をAIに書かせています。そして、AIの言う事は基本的に信じず細かく直す。それが私の現在です。書かせたものを同じAIにレビューさせると、「構成は明快で、読みやすいです」と返ってきます。これを信用する理由がありません。読む側のAIは最後まで読むからです。人間は読みません。そこが違います。だからレビューでは、「読者」が閉じる場所が一度も出てきません。そこで、渡し方を変えました。「AI」による「レビュー」ではなく、「読者」を想定した「離脱チェック」です。相手も文章も同じ。変えるのは渡し方だけです。公開済みの記事...

はじめに：AIの「新しいパラダイム」が来た2026年9月中旬、エンジニア界隈のタイムラインを駆け巡った mizchi 氏の記事『既存の LLM が CPU なら、 Jev はその GPU みたいなやつ』を読み、強い衝撃を受けました。ChatGPTやClaudeに代表される「巨大LLM」をどう賢く動かすかという議論が続く中、TypeSafe AI社が投入した「Jev」は、全く異なるアプローチを取っています。一言で言うと、Jevは「文章を一切書かず、構造化された選択肢の判定（スコアリング）だけに特化したAI」です。なぜこれが「GPU」に例えられるのか？ 既存のLLMと何が違い、開...

自社埋め込みモデルが、日本語検索１位を達成しました弊社 Sionic AI が自社で開発した日本語埋め込みモデルが、検索ベンチマークで一位を達成しました。（2026年8月7日現在）Sionic AI は EUREKA(Extremely Universal Robust Embedding for Knowledge Access) プロジェクトを進めています。その名の通り、どんな言語・ドメイン・クエリ形式でも知識にたどり着けるようにする、普遍的(universal)で頑健(robust)な埋め込みを目指します。 課題設定検索埋め込みモデルは、クエリと関連文書を埋め込み空...

前に、LLM に毎日ブログ記事を書かせて無人で公開している話を書きました。https://zenn.dev/kuu_dqx/articles/headless-claude-code-43daysその記事の結論は「LLM そのものは思ったより素直で、怖いのは周りの運用だった」でした。LLM の出力はチェックで止めていて、その中心は「本文に書かれた数値が、入力データに実在するか」の照合です。これで作り話の相場は止まっていました。あれから仕組みを1つ足しました。記事と一緒に、SNS の告知文も LLM に書かせるようにしたのです。1行の短い文で、記事の公開後に Bluesky へ無人で...

TL;DR巨大SQLとLLM丸投げの限界: 数千行の塩漬けSQLは人間には触れず、LLMに丸投げするとコンテキスト迷子（Lost in the middle）やハルシネーション（意図せぬ書き換えや結果のズレ）が発生する。決定論的オプティマイザ「icepick」の開発: 等価で最適なSQLへ変換する「SQL-to-SQL」思想に基づき、完全ローカルでミリ秒動作するSnowflake特化のASTクエリオプティマイザを開発。12ルールの診断と外科的パッチ: Snowflakeクエリの12のアンチパターンを決定論的に抽出し、コメントや書式を完全保持したまま患部だけをピンポイント...

Claude Code に「このPRレビューして」と軽くお願いしただけなのに、気付けば数十回・数百回のシェルコマンドが走り、API利用枠（Rate Limit）を一瞬で食いつぶしてしまった経験はないでしょうか。わずか**250行程度の差分（追加206行／削除44行）**のPRに対してClaudeにレビューを依頼したところ、1回のレビューで約3,660万トークンを消費し、API換算で約$40（約6,000円相当）が吹き飛ぶというインシデントが発生しました。なぜこれほどトークンが激増したのか、ログの分析と、トークン消費を抑えて高速・高精度にレビューを回すための設定・プロンプト術をまとめま...

育児記録アプリを自作して、MCPでAIに読み書きさせて遊んでいる の続きです。育児記録アプリ Osewa に「次の授乳は何時ごろか」を出す機能を入れました。ホームを開くと、ヘッダーの下に細いバナーで出ています。画面の幅に余裕があれば、右に「17:07〜18:07」のようなレンジも出ます。もともとは MCP 経由で AI に聞いていたものです。「次のミルクっていつ頃？」と聞けば答えてくれていたのですが、毎日見たくなったので、聞かなくても出ている状態にしました。予測には TypeSafe AI の Jev を使っています。ただ、時刻そのものは Jev に計算させていません。 時...

LLMを採用の書類選考（一次スクリーニング）に載せるとき、「必須条件を満たしているか」と「面接検討に通すか」を同じ判定にすると、転用できる実績のある候補を取りこぼしやすい。この記事では、型付きの LLM 判定としきい値分岐を扱う枠組み TypeSafe AI の Jev を使い、合成の履歴書・職務経歴書 76件 で一次スクリーニングを実験した知見をまとめる。 この記事で言うこと／言わないこと言うことJev で、履歴書・職務経歴書の一次スクリーニングを実験したこと合成の評価セット76件を固定し、Jevへのプロンプト（問い文）を改訂した時点の数字「必須条件が足りているか」の判定...

はじめにClaude Code に書かせたコードを同じ Claude に読み返させる往復に疲れ、読む係を Gemini に替えました。繋ぎ方と、実際に何件当たったのかを書きます。個人開発での運用で、チームでの実績はありません。ただ、仕組み一式は Claude Code のプラグインにまとめてあるので、他のリポジトリへもそのまま入れられます。替えた理由は 2 つです。1 つは、手戻りで消えるトークンが多いことです（作り直すたびに、そこまでの経緯を読み直させるトークンが上乗せされます）。もう 1 つは、LLM の考え方に偏りがあることです。どれだけ高性能になっても、学習データと評価...

KV Cache（Key-Value Cache）は、自己回帰decodeで過去tokenのKeyとValueを再計算しないための状態です。実装では「cacheを有効にする」と覚えるより、各層のtensorがどの軸を持ち、1 tokenごとにどの軸が伸びるかを押さえる方が役に立ちます。この記事では、KV Cacheをtensor形状、decode loop、メモリ予算の順に整理します。概念を図から確認したい場合は個人ブログ完全版も参照してください。 cacheが保持するtensorDecoder-only Transformerの各Attention層では、現在のhidden s...

問い合わせメールをどの部署に回すか。レビューがポリシー違反か。入力に脱獄 (制限を外す誘導) が混ざっていないか。こうした判定を LLM に投げている人は、返ってきた文字列を JSON として読み直し、壊れていたら再試行し、候補の外の値が来たらまた頼み直す、という後始末のコードを書いているはずです。欲しいのは値1個なのに、作文の全工程を通しているからです。2026年9月15日に TypeSafe AI が早期アクセスで公開した Jev は、その文字列を返しません。返るのは選ばれたキーと、全候補の確率だけです。この記事では API の形、質問の3型、できないこと、数値の出どころを整理しま...

対象読者TypeSafe AIのJevが気になっている人Jevがどういうものなのか、既存のLLMとの違いを知りたい人Jevを実際にどこで使えそうか考えている、知りたい人 モチベーションJevを見た最初の印象は「過去に見た、BERT + classifierに近いもの」だった調べていくと単なるclassifierというより、自然言語の意味をコード上の条件分岐やscoreとして扱うための部品と考えた方が、自分の中では使い道を整理しやすかった2026年9月時点では公開されたばかりの技術なので、正解を解説するというより、今の理解と「システムのどこへ置くと面白そ...

この記事で言うこと／言わないこと言うことTypeSafe AI の Jev（LLMに型付きの判定をさせ、しきい値で分岐する枠組み）で、投稿モデレーションの実験をしたこと実験用の合格ラインを通したあと、同じ72件で測り直した数字「人が確認すべきかの判定が正解ラベルと一致した割合（約9割）」と「人が確認しなくても自動判定だけで済ませた割合（約3割弱）」は別であること見逃しを重く見る前提だと、人手承認なしで自動判定を採用できる割合は控えめになりうること言わないこと本番の公開処理や BAN・削除に載せた、という主張この計測数字のまま、人間の承認なしに自動判定を本番採用し...

TypeSafe AI社の Welcome ページに、新モデル「Jev」の紹介が掲載されていました。生成AIチャットとは違う方向性の、コード内で使う「判断用モデル」という立ち位置が面白かったのでメモしておきます。参考:https://typesafe.ai/ （Welcome ページ）Welcomeページのスクリーンショットはこちら。 Jevとは何かTypeSafe AI初の一般公開モデルで、「System One model」という新カテゴリを名乗っています。We're excited to share with you a new class of AI m...

🔍AIの「確認できました」も信用しない。State MachineにUNKNOWNを入れた話連続イラストストーリー_Ver_7_5_Standalone.mdtopics:StateMachineシステム設計llm画像生成AI生成AI前回、画像生成AIに「キャラの装備を勝手に変えるな」と指示しても、装備が変わる、余計なものが増える、生成していないのに「完了した」と扱う、といった問題に対して、State Machineでページ進行を制御する方法を書きました。👉 前回の記事：AIに「キャラの装備を勝手に変えるな」と言っても無駄だった。State Machineで...