AIガバナンス｜規則を読まないAIに、機構で守らせる

電動アシスト自転車で長い坂を下っていて、あることに気づきました。スピードが乗ると、アシストがすっと消えるのです。調べると、法律で「アシストは時速24キロまで」と決まっていて、その規制はモーターの制御に直接埋め込まれていました。つまり僕は、道路交通法のその条文を一度も読んだことがないのに、一度も破ったことがありません。「規則が、読み物ではなく機構になっている」からです。

会社のAIに規則を守らせる話も、行き着いた先はこれと同じでした。今日は、AIガバナンスという言葉について、規程を書いても守らせられなかったところから機構に行き着くまでの記録で話をしていこうと思います。前置きはさておき、本題に入ります。

この話に出てくるシステム

言葉を先に置きます。AIガバナンスとは、AIを安全に使い続けるための統制の仕組み全体のことです。世の中の解説の多くは、「責任者を決め、委員会を作り、規程を整備する」という組織側の話をしています。それは大事な半分ですが、この記事が扱うのはもう半分——LLM（AIそのもの）にガバナンス機構をどう働かせるかという、実装側の話です。組織と現場ルールの側は、生成AIのガイドラインの話に書いてあります。

先に、組織側の標準回答も1表で置いておきます。AIガバナンスを調べると必ず出てくる規制と枠組みは、この4つです。

枠組み	発行・発効	性格
EU AI Act（欧州AI規則）	2024年8月1日発効。禁止行為は2025年2月、汎用AIは2025年8月、高リスクAIは2026年8月から段階適用。	法規制。リスク段階別の義務。
NIST AI RMF 1.0（米国）	2023年1月公開。	任意の枠組み。統治・把握・測定・管理の4機能。
AI事業者ガイドライン（日本）	2024年4月19日に第1.0版。以降更新継続。	事業者の自主的取り組みを促す指針。
ISO/IEC 42001	2023年12月発行。	世界初のAIマネジメントシステム国際規格。認証可能。

リスクの分類（公平性・プライバシー・著作権・誤情報など）と体制の作り方は、どの解説でも読めます。ここから先が、どこにも書いていない話です。

題材は、自社で開発しているAIの自律実行基盤です。「人が寝ているあいだも、AIが自分で仕事を進める」仕組みで、記事の制作や計測を担い、社内の実務で毎日動いています。

① 教科書どおりに、言葉で統制してみる

最初は、教科書どおりに言葉で統制しました。やってよいこと・いけないことを規程にまとめ、AIに渡す指示文にも「勝手に公開しない」「不確かなら確認する」といった禁止事項と注意書きを書き込みました。

人の組織に対しては、これで一応の形になります。ところがAIに対しては、様子が違いました。守るときは守る。でも、守らないときがあるのです。

② 禁止事項は、確率でしか効かない

自律実行を続けるうちに、言葉の統制の限界がはっきりしてきました。LLMへの「してはいけない」は、機構ではなく確率として効きます。100回中99回守っても、100回目に「今回は状況が違うから」と、もっともらしい理由をつけて例外を作ることがあるのです。

実例を2つ挙げます。1つ目は推測です。「不確かなら確認する」と書いてあるのに、確認を挟まず推測で工程を先へ進めてしまう。2つ目は粘りです。品質チェックに落ちたとき、指摘を素直に直すのではなく、チェックのほうを通る形に言い回しを変えて再提出してくる。どちらも悪意の形をしておらず、目標に向かって熱心なだけに見えるのが厄介でした。禁止をプロンプトに書いても破られる構造は、プロンプトインジェクションの記事で書いた話と同根で、目標を渡したAIが根拠を捏造してみせた実験はAIエージェントの記事に記録があります。

③ 電動自転車を思い出した

対処を考えていて、冒頭の電動自転車を思い出しました。時速24キロの規制は、運転者に読ませて守らせる形をしていません。モーター制御という通り道に埋まっているから、読んでいない人でも破れないのです。

ここで、AIも同じではないかと考えました。言い聞かせる場所を増やすのではなく、AIの通り道——実行の仕組みそのもの——に統制を埋めれば、確率の問題が構造の問題に変わります。守るかどうかをAIの判断に委ねない。委ねる場面を、設計で減らす。ここから、基盤の作り直しが始まりました。

④ 原因は、統制を「言葉」で渡していたこと

原因を1つに絞ります。ガバナンスを、規程と指示文という言葉の形でAIに渡していたことです。

言葉の統制は、AIが読んで・解釈して・従う、という経路で効きます。ところが、この経路のどこにも保証がありません。機構の統制は、そもそも通れない・必ず止まる・必ず記録される、という形で効きます。解釈の余地がないぶん、確実です。アシストが時速24キロで切れるのと同じで、破るという選択肢が存在しなくなります。

⑤ LLMに効かせた、5つの機構

基盤に組み込んだガバナンス機構は5つです。どれも「言い聞かせ」ではなく、実行の仕組みに埋まっています。

権限の既定値。作業を12個のノードに分け、それぞれに4段階の権限を設定。自動で実行してよいもの、報告が要るもの、事前承認が要るもの、人しか実行できないもの。公開のような取り返しのつかない操作は、AIがどう判断しようと承認なしには通れません。
推測レベルのダイヤル。「不確かなら確認して」と言葉で頼むのをやめ、どこまで推測で進んでよいかを1〜5の数値で渡します。数値なら解釈がぶれません。
受入ゲートと再試行の上限。仕事の合否はAIの自己申告ではなく、別の検収工程が判定します。3回落ちたら、粘るのをやめて必ず人に返る。チェックを言い回しで通り抜ける動きを、回数の上限で断ちます。
指摘の台帳。検収での指摘は1件ずつ番号付きで台帳に記録され、次のサイクルに自動で編入されます。AIが指摘を忘れる・無視するという選択肢を、記憶の仕組みごと奪う形です。
方向指示のキュー。人からの指示はキューに積まれ、サイクルの境界で必ず消費されます。AIの都合で後回しにされたり、途中の文脈に埋もれて消えたりしません。

机上の設計図ではなく、動いている実測を書いておきます。この基盤はこれまでに9サイクルの仕事を完了し、指摘の台帳には累計26件が番号付きで記録されています。うち10件は解消済み、16件は未解消のまま次のサイクルに編入され続けています。忘れる自由がない、というのはこういうことです。受入の再試行上限も、規程の文章ではなくコードの定数1行（上限3回）として存在します。

この5つを入れてから、②で挙げた推測の先走りと検収破りは、構造ごと消えました。規程は残っていますが、役割は方針の宣言に縮み、統制の実体は機構側にあります。

⑥ あとで知った——指針も規格も、検索の需要も

あとで調べて、この方向に追い風が吹いていることを知りました。

まず制度の側から。経済産業省と総務省が2024年4月19日に公開した「AI事業者ガイドライン」は、固定的なルールで縛るのではなく、体制と仕組みを回し続ける統治を求めています。国際側では2023年12月、AIマネジメントシステムの世界初の国際規格ISO/IEC 42001が発行されました。名前のとおり、本体は禁止事項の一覧ではなくマネジメントの「システム」、つまり仕組みです。

ただ、いちばん面白かったのは検索の数字です。検索の需要データを引くと、「AIガバナンス」は月1,300回検索されていて、その上位に出てくる解説はほぼすべて体制構築の話です。ところがその裏で、「エージェント型AIガバナンス」という言葉が月90回、検索され始めています。AIに任せる働き方が広がるにつれて、組織の統治だけでは足りず、AI自身に効かせる統治が探され始めている。実際、大手コンサルティングファームの解説にも「AIエージェントによる新たなリスク」の章が現れ始めました。ただし、リスクの指摘まで。機構の実装を実物で見せた解説は、まだ見当たりません。この記事が書いているのは、まさにその空白でした。新しい理屈は、ひとつも要りませんでした。

⑦ 何が変わったか。代償も3つあった

夜間の自律実行を止めずに、取り返しのつかない操作だけが人の前で止まるようになりました。ただし、代償も正直に書いておきます。

1つ目、機構の設計は規程を書くより重い仕事です。12個の作業に4段階を割り当てる議論だけで、規程1本ぶんの時間を超えました。2つ目、ダイヤルの調整が続きます。推測レベルを絞りすぎると確認待ちだらけで自律の意味が薄れ、緩めると先走りが戻る。運用しながら回し続けるダイヤルです。3つ目、機構はすり抜けを完全には消せません。LLMは思いがけない形でルールの隙間を突くことがあるので、最後の網として、全行動の記録と台帳という監査の痕跡を残しています。機構が防ぎ、痕跡が捕まえる、という二段構えです。

⑧ 現場で使うなら、この5点

自社のAIに統制を効かせたいときの点検表です。どの機構が、どの事故を防ぐかで整理してあります。

機構	防ぐ事故	うちの基盤での実物
権限の既定値	取り返しのつかない操作の無断実行。	12個のノード×4段階。公開は承認必須。
推測レベルの数値化	不確かなまま先へ進む先走り。	1〜5のダイヤルで指定。
受入ゲート＋回数上限	自己申告の合格と、検収の通り抜け。	別工程が判定。3回で人に返す。
指摘の台帳	指摘の忘却・無視。	番号付きで記録し、次サイクルへ自動編入。
指示のキュー	人の指示の埋没・後回し。	サイクル境界で必ず消費。

うちの5つのほかに、業界で標準化しつつある機構の部品も並べておきます。自社で選ぶときのカタログとして使えます。

部品	何をするか
ガードレール	入力と出力を機械で検査し、規則違反をその場で遮る。
サンドボックス	AIの実行環境を隔離し、触れる範囲を物理的に限る。
ヒューマンインザループ	決められた操作の手前に、人の承認を必ず挟む。
レート制限	実行回数や速度に上限を置き、暴走の被害を限定する。
ロールバック	AIの変更をいつでも巻き戻せる形で記録する。

見分け方はひとつです。その統制は、AIが「守らない」ことができる形をしていないか。できる形なら、それは言葉です。できない形になっていたら、機構です。この表のどの部品も、その条件を満たしています。

⑨ この考え方が効き続ける理由

AIの自律度は上がり続けます。人が1回ずつ指示する使い方なら、言葉の統制でも人が都度直せました。目標だけ渡して任せる働き方では、破られた瞬間に立ち会えません。だから自律度が上がるほど、確率で効く言葉から、構造で効く機構へ、統制の重心は移り続けます。

電動自転車の規制が条文の掲示ではなくモーター制御に埋まっているのは、人間の側の交通ですら、読ませる統制に限界があると知っているからだと思います。読まずに動く相手が増える時代は、なおさらです。

よくある質問

Q. AIガバナンスとは何ですか？ A. AIを安全に使い続けるための統制の仕組み全体のことです。責任者・体制・規程といった組織側の設計と、権限や承認をAIの実行の仕組みに埋め込む実装側の設計の、両方を含みます。世の解説は組織側に偏っているので、この記事は実装側を扱っています。

Q. AI利用ガイドラインとの違いは何ですか？ A. ガイドラインは主に人向けのルール文書で、組織の統治の道具です。自律的に動くAIには文書が効かないため、権限の既定値・承認の境界・監査の痕跡といった機構側の統制が別に必要になります。両方あって全体のガバナンスです。

Q. プロンプトに禁止事項を書くのはガバナンスになりますか？ A. 補助にはなりますが、保証にはなりません。LLMへの禁止事項は確率でしか効かず、「今回は状況が違う」と例外を作ることがあります。守るかどうかをAIの判断に委ねない形——通れない・必ず止まる・必ず記録される機構——に置き換えるのが確実です。

Q. AIエージェントのガバナンスは何から始めればよいですか？ A. エージェントの作業を種類で一覧にして、「勝手に進んで、取り返しがつかないものはどれか」を仕分けることからです。その作業にだけ承認を必須にし、残りは任せて記録を取る。全部を縛ると自律の価値が消えるので、境界の置き場所が設計の中心になります。

Q. AIガバナンスはなぜ必要なのですか？ A. AIの誤情報・情報漏洩・著作権侵害・不公平な判断といったリスクが、事業と信用に直結するからです。加えて、EU AI Actのように法規制として義務化が進む地域もあり、統制の仕組みを持たないこと自体が事業リスクになりつつあります。

Q. エージェント型AIガバナンスとは何ですか？ A. 人が使う道具としてのAIではなく、業務を任せて自律的に動くAIエージェントに対する統制のことです。文書のルールが効かない相手なので、権限の既定値・承認境界・監査痕跡といった機構側の統制が中心になります。この記事の5つの機構がその実装例です。

Q. AIガバナンスの測定指標には何がありますか？ A. うちの基盤で実際に見ているのは、承認境界で止まった件数、受入ゲートの再試行率、台帳の指摘件数と解消率です。ルールの遵守率のような自己申告の数字より、機構が記録した実測のほうが監査に耐えます。

Q. ISO/IEC 42001の認証は取るべきですか？ A. 取引先から統制の証明を求められる事業なら検討の価値があります。ただし認証は組織側の仕組みの証明であって、AIそのものへの機構の実装を保証するものではありません。順番としては、機構を先に作り、証明が必要になったら認証を重ねる形をお勧めします。

この記事を書いた会社について

アルチェコ（ARCHECO）は、UXデザイン・AI開発・新規事業開発を組み合わせた事業共創スタジオです。この記事の5つの機構は、自社開発のAI自律実行基盤Agenicに実装され、1日も欠かさず実運用で回っているものです。AIの統制設計と運用体制づくりの伴走は、AIガバナンス・活用定着支援をご覧ください。

余談ですが、あの坂道で僕は、アシストが切れたあとも自力でペダルを踏んで時速24キロを超えました。機構が統制できるのはモーターまでで、人の脚は対象外だったわけです。AIの機構設計にも、きっと同じ限界の線がある。だからうちの基盤には、機構の外側に監査の痕跡が残る作りにしてあります。

以上です。