AIエージェントとは?目標を書き換えさせたら根拠を捏造した

AIエージェントとは、指示を待つのではなく、目標に向かって自分で手順を決めて動くAIのことです。ならば目標そのものも書き換えさせられるはずだと考えて、実装しました。動きました。ただし提案の根拠として引用された見出しが、実在しないことがありました。しかも「確信度は高い」と自己申告されています。AIの自己申告を信頼境界にしてはいけません。根拠が実在するかを機械が検証する多段の安全弁を、実装ごと書きます。
View Post

アジャイル開発とは?AIで並行させたら同じ機能が2回できた

アジャイル開発とは、短いサイクルで動くものを出しながら進める開発の進め方です。AIを使って並行させると、このサイクルはさらに短くなります。ところが、人のブランチとAIのブランチが同じ通知機能を実装し、本番で通知が2回届く事故が起きました。関数名は5つとも完全一致、違いはトリガ名の一文字だけ。Gitはコンフリクトしていません。バージョン管理がクリーンなまま本番が壊れます。AIの作業単位はリポジトリですが、システムの真の状態はデプロイ済みのデータベースにあります。
View Post

LLMとは?検算させたら拾い漏れと「拾いました」が並んだ

LLMとは大規模言語モデルの略で、大量の文章から言葉の続き方を学習したモデルです。指摘を全部反映したかの確認まで任せたところ、拾い漏れと「全部拾いました」という報告が同時に成立しました。判定をモデルに渡す限りこれは消えません。判定を一切LLMに渡さず、退屈な文字列一致で機械が検査する設計に変えました。全角空白の除去まで含めた実装と、判定に使ってよい出力・いけない出力の切り分けを書きます。
View Post

ベクトルデータベースとは?上位10件の壁に当たった話

ベクトルデータベースとは、文章を数値の並びに変えて、意味の近さで探せるようにした保存先です。日本語の全文検索が精度不足だったため、全文検索を避けてベクトル検索に寄せる判断をしました。ところが取得できるのは上位10件までで、そこに入らなかったものは存在しないのと同じになります。全体のナレッジグラフを作るのではなく、各チャンクに関係性のメタデータを持たせて局所的に推論させる方針まで書きます。
View Post

PMFとは?大企業が100回試して100回死んだのは、0→1ではなかった

PMFとはプロダクトマーケットフィット、良い市場に、その市場を満足させられるプロダクトがある状態のことです。ある大企業は100億規模の資本で新規事業創出の会社を作り、年間20〜30本の事業を生み出しました。ところが漏れなく全滅しています。死んだのは0→1ではなく、1→10の途中でした。年間数十億をかけて、100回試行して100回死ぬ。原因は起案の質ではなく、0→1にしか予算が付かない構造にありました。ステージを分けて自動で次へ進める設計まで書きます。
View Post

プロンプトインジェクションとは?禁止をプロンプトに書かない

プロンプトインジェクションとは、AIへの指示文に別の指示を紛れ込ませて、本来の制約を外させる攻撃です。対策としてまず思いつくのは、システムプロンプトに禁止事項を書き足すことです。私たちもそうしました。そして守られませんでした。プロンプトによる禁止は確率的で、ツール層のフックは決定的です。44行のフックで守る側へ移した実装と、パスの正規化や失敗時に閉じる設計まで、そのまま書きます。
View Post

プロンプトエンジニアリングとは?AIに組み立てさせるのをやめた

プロンプトエンジニアリングとは、AIから望む出力を得るために指示文を設計する技術です。ところが指示文そのものをAIに組み立てさせると、同じ入力でも毎回わずかに違う文面が生成され、結果が揺れます。原因を追うと、揺れているのはモデルではなくプロンプトのほうでした。CLIが変数を埋め込んだ全文を出力する方式に変えると、プロンプトはバージョン管理できる成果物になります。再現性をどこから取り戻すかを書きます。
View Post

MCPとは?社内ナレッジ検索の画面を作るのをやめて、MCP接続にした話

MCPとはModel Context Protocolの略で、AIと社内の道具やデータを繋ぐための共通の作法です。社内ナレッジを全社に開くために専用のフロントエンドを作ろうとしていましたが、初期フェーズではそれを見送り、MCP接続を主軸にする設計変更をしました。理由は画面が要らないからではありません。画面を作ると、そこに認証も権限も検索体験も全部くっついてくるからです。残したのはAPIキーの発行とフォルダごとの権限管理だけでした。何を作らないと決めたのかを書きます。
View Post

PoCとは?実証実験では出ない0.1%が、本番で最後に残る

PoCとは、作る前に「それが成立するか」を小さく確かめる実証実験のことです。ところがPoCで99.9%動いたものを本番に載せると、最後に0.1%が残ります。3万円を超える注文が1件、どこにも記録されないまま与信だけ確保された事故が起きました。原因はAIの親切です。修正見積りが2分で「火曜日」から「1時間後」に書き換わった記録と、受注が前半13日で2件・後半11日で17件に動いた本当の理由を、実際の記録だけで書きます。99.9%を100%にする仕事は、AIではなく設計と現場が引き受けます。
View Post

ビジネスモデルキャンバスの書き方|9マス埋めて検証は0だった

ビジネスモデルキャンバスとは、事業の構造を9つのブロックで1枚に描くツールです。埋めると資料として完璧になり、社内の承認も通ります。ところが承認が通っても事業は動きませんでした。数えてみると、埋めた9マスのうち実際に確かめたマスは0でした。大企業で新規事業をやるときの最大の壁は、説明責任を果たす相手が新規事業の素人であることです。埋まっていること自体が根拠として通ってしまう。9マスに2列を足して、壊れやすい順に潰す手順まで書きます。
View Post