Zennの「大規模言語モデル」のフィード
フィード

AI Readyなデータ基盤とは何か — 6つの条件で整理する
Zennの「大規模言語モデル」のフィード
はじめに「AI Readyなデータ基盤」という言葉をよく見かけますが、各社の説明を並べると中身が一致しません。従来のデータ品質をそのまま挙げている説明もあれば、ベクトルDBやフィーチャーストアという製品機能で語っている説明もあります[1]。社内で散らばっている情報を集約し、AIに使わせようとすると、自社の基盤は何を満たせばいいのかという問いが出てきます。いくつか読んだなかで、SnowflakeがGitHubで公開しているAI-Ready Data Frameworkが一番腑に落ちました[2]。6つのファクターに62の要件がぶら下がっていて、要件ごとに判定の条件まで書いてあります...
3時間前

AIにプロジェクト全体のコードを書かせる「RACG」入門 — サーベイ論文を読み解く
Zennの「大規模言語モデル」のフィード
AIは1つの関数は書けても、プロジェクト全体は苦手ChatGPT や Claude にコードを書かせたことがある人なら、こんな実感があるはずです。1つの関数、1つのファイルなら、驚くほどいいコードを出してくれる。でも「このプロジェクト全体を見て、この機能を追加して」と頼むと、とたんに怪しくなる。この落差はどこから来るのか。そして、どう埋めればいいのか。それをまとめて整理した論文が、2025年10月に公開された Retrieval-Augmented Code Generation: A Survey with Focus on Repository-Level Approache...
3時間前

ブラックボックスじゃないAIを作ろうとしたら、LLMの「ブレ」の正体が想定と違っていた話
Zennの「大規模言語モデル」のフィード
この記事の結論LLMに何かを判定させるとき、同じ質問を複数回投げて、答えのブレ具合で信頼度を測るというやり方があります。よく使われる手法です。私の環境では、そのブレの**100%が「1回目だけがズレる」**という現象でした。つまり測っていたのは「その質問の難しさ」ではなく、**「1回目と2回目以降の実行状態の違い」**だった可能性が高い。対策は簡単で、1回目を捨てるだけです。実際、保留していた126語のうち121語(96%)が、LLMを一度も呼び直すことなく、同じデータから1回目を除いて計算し直しただけで基準を満たしました。以下、なぜこうなったかを順に説明します。...
4時間前

AIエージェントに「エンジニアの心構え」を大量に教え込んだら、仕事の質はどう変わったか
Zennの「大規模言語モデル」のフィード
AIエージェントのシステムプロンプトには、ふつう「何をするか」を書きます。私たちはそこに「どういうエンジニアであるべきか」を大量に書きました。この記事は、20代向けコミュニティ「Coelia」の運営基盤(Webサービス・HP・コンテンツ生産)を Claude Code / Codex などのAIエージェントでほぼ自律運用している開発現場で、システムプロンプトに"心構え"を注入し続けた約1か月の実録です。何を書いたか、そして実際にエージェントの挙動がどう変わったかを書きます(社内の設計記録=ADRやPRを根拠にしていますが、リポジトリは非公開なので番号は出さず、内容を本文で自己完結させま...
4時間前

AWSのContext Ontology Acceleratorを実際にデプロイして、意地悪なデータを食わせてみた
Zennの「大規模言語モデル」のフィード
AWS が公開している OSS Context Ontology Accelerator(以下 COA)を、自分の AWS アカウントにデプロイして触ってみました。前回は HermiT・Ontop・MCP をローカルで動かすところまでやったので、今回はその続きで「AWS が無いと試せない部分」を見にいった形です。デプロイ手順そのものは AWS Japan の公式記事が丁寧に解説してくれているので、この記事では自分が実際に踏んだハマりどころと、気になっていたことを試してみた結果を時系列で書きます。いちばん気になっていたのはここでした。COA は Glue Data Catalog...
5時間前

AIハーネスは「強くする」より「アシュビー的に多様にする」べきでは
Zennの「大規模言語モデル」のフィード
動機「AIの使い方でアシュビーの法則に言及しているの、あんまり見ない気がする」という思いつきを、実際に検索と実測で確かめてみた記事です。アシュビーの必要多様性の法則(Law of Requisite Variety, W. Ross Ashby, 1956)はサイバネティクスの基本定理で、雑に言うとこうなります。制御system(regulator)の多様性が、制御対象systemの多様性以上でなければ、それを制御できない。Only variety can destroy variety.これをAIエージェント/ハーネス設計に読み替えると、「ハーネスを強くする(モデルを大...
5時間前

AIに任せた仕事は、任せ方を昇格させないかぎり減らない
Zennの「大規模言語モデル」のフィード
AI導入の記事を最後まで読むと、だいたい同じところに着地する。「結局、最後は人間の判断が大事」そこで出てくるのがHITLだ。Human-in-the-Loop——AIにやらせる流れの途中に人間を挟んで、要所だけ判断させる設計のことだ。どこまでを任せて、どこに人間を残すか。線を引く話。これに反対してる人を、オレは見たことがない。安全側にも倒れるし、現場の実感にも合う。誰も反対しない正解になった。 で、その人間の判断、来月も同じ数やってない?反対されないから、みんな線を引く。引いたところで記事が終わる。線を引く話は溢れてるのに、線を動かす話がない。半年前に引いた線が、今日もそ...
5時間前

AIの答えをAIに採点させる——安いモデルで高いモデルを見張れるか
Zennの「大規模言語モデル」のフィード
はじめにAIエージェントに仕事を任せる時代、その答えを誰がチェックするのでしょうか。私は複数のAIエージェントを常駐させて開発・運用を回す仕組みを自作していて、そこでは「番犬(watchdog)」役のエージェントに別のモデルを当てて、他のエージェントの出力を検収させています。この番犬、安いモデルで足りるのでしょうか。それとも高いモデルを使わないと見張り役は務まらないのか。手元のローカルLLMで実測しました。 想定読者マルチエージェントやLLM検証を実務で考えている人「LLM-as-a-Judge」を安く回せないか気になっている人 背景:なぜ「AIがAIを検収」なの...
6時間前

4bitは妥協なのか——同じLLMを量子化ビット数を変えて実測
Zennの「大規模言語モデル」のフィード
はじめにローカルLLMを触ると、必ず「量子化」に出会います。q4_K_M とか q8_0 とか、モデル名の後ろにつくアレです。みんな当たり前のようにq4版を落として使っていますが、「4bitに落とすと、実際どれだけ品質が落ちるのか」を実測した記事は意外と少ない。前回、4つのモデルをM2 Ultraで比較しました。今回はその続きで、同じモデルを量子化ビット数だけ変えて比べます。ローカルだからこそできる実験です(自分でビット数を選べる)。結論から言うと、fp16は無駄でした。 想定読者ローカルLLMを自分の環境で選定する人「q4とq8、どっちを落とせばいいの?」で迷ったこと...
6時間前

AIが私の経歴を捏造した。2回。——それで作った「ペルソナ正史」という仕組み
Zennの「大規模言語モデル」のフィード
AIに記事を書かせている人に質問です。あなたの経歴、全記事で一致していますか?私は一致していませんでした。それも2回。1回目は投稿前に気づいて直し、「次は気をつけよう」で済ませました。2回目は公開後に読者の立場で読み直していて背筋が冷えました。業界統計の数字が、私の実体験として書かれていたのです。「気をつける」は対策ではなかった。そこで作ったのが「ペルソナ正史(canon)」という仕組みです。地味ですが、AIで発信を量産する人には全員に要ると思うので、書式ごと共有します。 なぜ経歴はズレるのかAIは記事ごとに文脈を再構成します。過去記事Aでは「5年前に始めた」、記事Bでは「経験...
7時間前

SKILLを増やしたら、ClaudeのブラウザQAが下手になった
Zennの「大規模言語モデル」のフィード
ClaudeにブラウザQAを頼むため、最初は手順をSKILLへ蓄積していた。「このUIの場合はこの操作をする」「この表示なら次にここをクリックする」といった知見を、テストのたびに追記していた。回数を重ねれば、テストは安定するはずだった。ところが、しばらくすると初期より躓く場面が増えたように感じた。どんな知識を蓄積しているのか確認すると、SKILLには過去に遭遇したUIごとの操作が長く羅列されていた。そこで個別の操作手順を削除し、失敗の原因や観察結果を通常の知識ノートへまとめ直した。その後、ブラウザテストで同じ失敗をすることが減った。これは、SKILLそのものが悪かったという話...
7時間前

Sonnet 5 は GPT-5.6 Sol よりも「高い」のか(#高額請求 #トークン節約)
Zennの「大規模言語モデル」のフィード
Claude の請求金額に怯えながら過ごす日々を卒業したい。今回は複数モデル間の「コスパ比較」をしてみたので、見かけ上のAPI単価だけでは見えてこない、実効コストの話を記録する。(もしサブスクで使っているなら、レートリミットに到達するまでの速さに関わる問題と考えてほしい) はじめにClaude Sonnet 5 は GPT-5.6 Sol よりも高いのか。性能比からして、GPT-5.6 Sol の方が一般的に請求金額も高くなると考えられる。そもそもTierが異なるため、比較対象にあげられることが少ない。出力API単価を見ても、Sonnet 5 は $10.00/1M、GP...
7時間前

LLM Wikiパターンの標準化 OKF(Open Knowledge Format)
Zennの「大規模言語モデル」のフィード
Open Knowledge Format(OKF)— LLM Wikiパターンの標準化ナウキャストで長期LLMインターンをしている北川です。LLM系のタスクのキャッチアップをする中で、最近「OKF」という技術を耳にする機会が増えました。OKFはまだ登場したばかりの仕様で、その概念を理解するにはRAGやLLM wikiといった周辺技術への理解が欠かせません。しかし、OKF関連の記事の多くはOKF単体の説明にとどまっており、それだけでは体系的に理解しづらいと感じています。OKFはこうした周辺技術を前提として設計された概念でもあるため、それらへの理解があって初めて実感を持って捉えられ...
8時間前

PerplexityライクなQ&Aエージェントを個人開発アプリに組み込んだ——スケール時に実行モデルをどう変えるか
Zennの「大規模言語モデル」のフィード
はじめに外部のウェブ検索と、アプリケーション内で事前にAI分析した独自の内部記事を組み合わせ、出典付きの回答を返す——そんな「PerplexityライクなQ&Aエージェント」を、個人開発している海外テックニュース収集・分析アプリ『Vector』に組み込みました。前編では、このエージェントを開発する中で工夫した、工程ごとの設計について書きました。https://zenn.dev/yook/articles/qa-agent-six-stage-design一方で、その実行モデルは現在の運用規模に合わせて、かなり割り切った設計にしています。この記事では、ユーザーが増えて...
8時間前

PerplexityライクなQ&Aエージェントを個人開発アプリに組み込んだ——6つの工程に分けた設計の工夫
Zennの「大規模言語モデル」のフィード
はじめに外部のウェブ検索と、アプリケーション内で事前にAI分析した独自の内部記事を組み合わせ、出典付きの回答を返す——そんな「PerplexityライクなQ&Aエージェント」を、個人開発している海外テックニュース収集・分析アプリ『Vector』に組み込みました。先端技術を活用した優れたプロダクトの体験に、個人開発でどこまで近づけるかという試みや、設計の工夫、そして実装を通じて見えてきた現時点の課題を共有したいと思います。ソースコードも公開しているので、少しでも参考になれば嬉しいです。GitHub リポジトリ: https://github.com/yook11/V...
9時間前

AIの嘘がセキュリティリスクになる?OWASP LLM09 Misinformationを初心者向けに解説
Zennの「大規模言語モデル」のフィード
はじめにLLMは、もっともらしい嘘を自信たっぷりに語ることがあります。これは「ハルシネーション」としてよく知られた現象です。大変迷惑です。🥲多くの人はこれを「精度の問題」「品質の問題」だと考えていると思います。ところがOWASP Top 10 for LLM Applications 2025では、これをセキュリティリスクとして正式に位置づけました。それが LLM09:2025 Misinformation です。参考:LLM09:2025 Misinformation - OWASP本記事では、なぜAIの嘘がセキュリティの問題になるのか、どんな被害が起きるのか、どう対策...
9時間前

このコードを直して」の一行が、NDAを破るとき — 受託開発×AIの構造的ジレンマ
Zennの「大規模言語モデル」のフィード
受託開発をしていると、顧客と交わした秘密保持契約(NDA)が常に頭の片隅にある。そして生成 AI は、その NDA と静かに衝突する。「このコードのバグを直して」——AI エージェントにそう指示しただけのつもりが、エージェントは文脈を理解するためにリポジトリ内のファイルを次々と読み込み、顧客の DB スキーマや業務ロジックごとクラウドに送信しているかもしれない。ブラウザでファイルをドラッグ&ドロップするのと違い、自分が「外部に送っている」という自覚すら持てないまま、大量の機密が外へ出ていく。これが AI エージェント時代の新しい落とし穴だ。本記事は、受託開発者が直面する「AI の生産...
10時間前

ThinkStationPGX(DGX Spark OEM)のGPUクロックが702MHzに張り付き、LLM推論速度が半減した話
Zennの「大規模言語モデル」のフィード
はじめにThinkStationPGXでvLLMを使ってopenai/gpt-oss-120bを動かしていたところ、推論速度が普段の半分程度まで低下する現象に遭遇しました。調査の結果、GPUのSMクロックが702MHzに張り付いていることが分かりました。OSの再起動では改善しませんでしたが、シャットダウン後にDGX Spark本体から給電用USB Type-Cケーブルを抜き、電源アダプタもACコンセントから抜いて数分間放置することで、GPUクロックと推論性能が回復しました。本記事では、そのときの症状、切り分けの過程、暫定的な復旧方法をまとめます。!急いでいる方へ:P0なのに...
10時間前

Claude Code v2.1.218〜221まとめ、fast modeは枠外課金で何を試すべきか
Zennの「大規模言語モデル」のフィード
Claude Codeの2026年8月第1週は、v2.1.218からv2.1.221までの4回のアップデートがありました。Opus 5が既定モデルになったほか、コードレビューの実行場所やサブエージェントの入れ子構造など、日々の使い方に直接影響する変更が続いています。この記事では、動画を見ていない方にも分かるよう、今日から試せる変更と、条件付きで注意が必要な変更を整理します。https://youtu.be/hmjhpXHX-Rw Opus 5 が既定モデルに、fast modeは別会計v2.1.219で、Claude Codeの既定のOpusがOpus 5に切り替わりました。文脈...
12時間前

制約8個の遵守確認、生成ターンと検証ターンを分けても文字数だけは直らない
Zennの「大規模言語モデル」のフィード
TL;DR複数制約を守らせたい生成タスクで、「生成→自己チェック」を同一ターン内の1回の指示に詰め込む方式と、生成後に出力を新しいメッセージとして貼り直し、別ターンで照合・修正させる方式を比較した制約8個(返金対応メールを想定)で試したところ、内容系の制約(禁止表現・定型文・署名漏れなど)は別ターン確認でほぼ解消したが、「150字以内」という文字数制約だけはChatGPT・Claude・Geminiの3社そろって、何度確認させても直らなかった生成と検証を別ターンに分ける効果は、検証者が生成時の文脈から切り離されることで自己確証バイアス(自分が書いた直後の出力を甘く判定する傾向...
13時間前