生成AIのガイドライン｜配ると読まれない。使う手前に置く

40歳になり、体型維持のために縄跳びをしたり自重トレーニングをする一環で、家の冷蔵庫に、貼り紙をしたことがあります。「22時を過ぎたら開けない」と書いて、扉のまんなかに貼りました。

その日に守らなくなりました。

見かねた妻が、寝る前に冷蔵庫の前に体重計を置きました。扉に手を伸ばすには、またぐことになります。またぐと、足元に数字が出ます。

貼り紙は4枚とも1日も守れませんでしたが、体重計を置いた週から、夜に扉を開けるのはやめました。

生成AI（指示に応じて文章などを作るAI）のガイドライン（業務で使う際の方針やルール）を整備する会社が増えてきました。ただ、ガイドラインを作れば守られるわけではなく、そのガイドラインをどこに置くかで結果がはっきり分かれます。同じ文面を配っても、半年後に守られているものと、誰も読み返さなくなるものに割れます。

僕も、生成AIのガイドラインの作り方を間違えました。禁止事項を144行まで書き足しましたが、そのあいだに同じ形の事故（生成AIに渡してはいけない情報を渡すこと）を10回以上出しています。

先に一行だけ置きます。生成AIのガイドラインは、人が読む場所に置くと守られません。 守られるのは、仕事の手が必ず通る場所に、通れるかどうかを毎回確かめる形で置いたときだけです。

今回の事例は整体院5店舗で、受付が備品の貸し借りを記録する画面の話

大企業と僕の会社の共創事業（複数の会社が共同で進める事業）として、整体院5店舗の受付の担当者が、店舗をまたいだ備品の貸し借りを記録するために開く画面を立ち上げました。最小限の機能だけを先に作って現場に出す、MVPと呼ばれる作り方です。整体院のほうは、予約で施術者を指名できる形で、1枠90分。腰と肩の施術が中心です。

店舗をまたいで貸し借りしているのは、ポータブルの電気治療器、遠赤外線のマット、施術用の高さ違いの枕、テーピングのロールです。貸出の表は、店舗ごとに1つずつ、全部で5つありました。

受付の担当者は、この表を生成AIに貼り付けて聞くようになりました。「今日、駅前の店に電気治療器は何台残っているか」。表をまるごと貼って、要点だけ答えさせる使い方です。

ところが、その表の右端には、借りた理由を書く列がついていました。そこに入っていたのは、たとえば「腰椎ヘルニアの既往あり。うつ伏せ不可」。来院した人の体の状態が、備品の貸出の表に同居していました。 表をまるごと貼り付ければ、この列ごと、生成AIを動かしている会社の側へ渡すことになります。

だから、生成AIのガイドラインを作ることにしました。

今日は、禁止事項を書き足すほど生成AIのガイドラインが守られなくなる、という話をしていこうと思います。

前置きはさておき、本題に入ります。

① 教科書どおりに、禁止事項を並べてみた

生成AIのガイドラインは、素直に教科書どおりに作りました。

教科書に載っている手順は3つあります。使ってよい用途の範囲を決めること、入力してはいけない情報を列挙すること、破ったときの報告先を書くことです。この3つで組み立てると、文書の中身はほとんど禁止事項になります。

書き上げた初版は48行で、A4に1枚で収まりました。「来院した人の氏名を貼り付けないこと」「施術の記録を含む列を生成AIに入力しないこと」「個人で契約したアカウントを業務に使わないこと」。読み合わせを1回30分でやって、5店舗の受付の担当者全員から、読んだという返事をもらっています。

そして、この初版はちゃんと効きました。 配った直後の1か月、貸出の表をまるごと貼り付けた形跡は1件も出ていません。

教科書が間違っていたわけではありません。この段階では、外したという感覚はまったくありませんでした。

② 3か月で禁止事項が144行になり、事故は減らなかった

ところが、生成AIのガイドラインを運用（現場で使い続けること）しはじめて2か月目から、様子がおかしくなってきました。

受付の担当者が、借りた理由の列を消さないまま、表をまるごと貼り付けてしまう。この形の事故が出るたびに、僕は禁止事項を書き足しました。1件目で「借りた理由の列を含めないこと」を足し、2件目で「表を貼る前に右端の列を削ること」を足しました。3か月で、48行だった文書は144行になっています。

それでも、同じ形の事故は止まりませんでした。半年で10回以上出ています。

再現の条件は、数え直すとはっきりしていました。事故が出るのは月末と、担当者が別の店舗の応援に入った日です。つまり、いつもの手順が使えない日でした。

144行の禁止事項は、そういう日にこそ読み返されるはずのものです。ただ、応援に入った担当者が144行を頭から読み直すことは、一度もありませんでした。

③ 気づいたのは、事故の直前に何が起きていたかを並べたときでした

最初は、単に読んでいないだけだと思っていました。

だから読み合わせをもう一度やりました。1回30分を全店舗ぶん、5回。それでも2週間後に、また同じ形の事故が出ました。読ませる回数を増やしても、結果は動きませんでした。

そこで、事故の記録を時系列に並べ直しました。ここで引っかかったのは、事故そのものではなく、その直前に何が起きていたかです。

どの事故も、その前の数日以内に、受付の担当者が貸出の表の列を作り替えていました。 電気治療器の管理番号を足したとき、枕の高さを別の列に分けたとき、テーピングの残数を色分けしたとき。備品が増えるたびに、表の形が変わっていました。

つまり、禁止事項は「右端の列」と書いていたのに、右端がすでに別の列に入れ替わっていたわけです。文章は、表の形が変わったことを知りません。

ここで、生成AIのガイドラインの置き場所が悪かったのではないか、と思いはじめました。

④ 原因を1件に絞る

外した理由として思い当たることは、いくつもあります。文章が長すぎたこと、周知の回数が足りなかったこと、担当者を作る側に巻き込むのが遅かったこと。

ただ、原因を絞ると1件でした。

生成AIのガイドラインを、人が読む場所にしか置かなかったこと。

読む場所に置いた文章は、読まれたときにしか働きません。人が文章を読み返すのは、いつもの手順が通る日です。手順が崩れた日、つまり事故が出る日には、誰も読み返しません。

しかも文章は、表の形が変わっても自分では変わりません。表の列が入れ替わった瞬間から、144行のうち何行かは、現物を指していない文章になります。

⑤ 直したのは1箇所だけ

やったことは1件です。144行のうち1行だけを、文章から検査（生成AIへ渡す前に内容を自動で確かめる仕組み）に移しました。

ただ、移す前に済ませておくことがありました。貸出の表を生成AIに聞く経路（表から生成AIへ情報を渡す手順）を、1本に寄せることです。

それまで受付の担当者は、貸出の表を自分の端末でコピーして、生成AIの画面へ貼り付けていました。この形では、表が受付の担当者の手を離れるのは、担当者が端末上で貼り付けた瞬間です。そのため、表を渡す手順の途中に検査を置けません。

そこで、備品の画面のほうに「聞く」のボタンを付けました。押せば、表を貼らなくても同じ答えが返ります。貼る手間がなくなるので、担当者はこちらを使うようになりました。

検査を置いたのは、その「聞く」の一歩手前です。ボタンを押すと、必ずそこを通ります。

検査は、禁止語（含まれていたら止める語）を探す形にしませんでした。渡してよい列だけを13件、名指しして、それ以外が1件でも混ざっていたら止める形です。止まると、担当者の画面に理由が1行出ます。「この表には、渡してよい13件に入っていない列があります」。

書いた検査は163行で、動く時間は0.05秒未満です。渡す前に止まるので、生成AIの側には一度も届きません。

作った当日に、5店舗ぶんの表を全部通してみました。3店舗で止まりました。止まった列は、どれも僕が144行のどこかで禁止したはずの列です。

⑥ あとで知った ── 公的な規格に、同じ順番が書いてありました

しばらくして、米国立標準技術研究所（NIST）が出している文書を読み、手が止まりました。「Artificial Intelligence Risk Management Framework（AI RMF 1.0）」は、AIのリスク管理の枠組みを示す文書で、文書番号は NIST AI 100-1、2023年1月の公開です。無料で読めます。

そこでは、方針の置き方に条件が付いていました。AIのリスクを洗い出し、測り、扱うための方針と手順が、組織全体で置かれていること、見えること、実効的に実施されていること。この3つが揃って初めて要求を満たす、という書き方です。原文では「are in place, transparent, and implemented effectively」となっています。

置くだけでは足りない、と明記されていました。

さらに、測る側の節にはこうありました。配る前に試すだけでなく、動いているあいだも繰り返し試すこと。原文は「AI systems should be tested before their deployment and regularly while in operation」です。

統治（組織全体で方針や手順を定め、管理すること）の節には、目を配り続けることが終わりの来ない要求だ、とも書かれています。あとから足すものではなく、初めから組み込まれているものだ、と。原文は「Attention to governance is a continual and intrinsic requirement」。ここまで引いた3か所は、置いたものを繰り返し確かめ続ける、という一点で同じことを言っています。文書を書き終えた日が、終わりではありません。

僕がやったのは、1行を毎回走る検査に移しただけでした。新しい理屈は、ひとつも要りませんでした。

⑦ 何が良くなって、何を失ったか

検査を通り道に置いてから、受付の手元で変わったことがあります。

止まった回数がそのまま記録に残るようになりました。以前は、事故が起きてから気づく形です。いまは、渡す前に止まった時点で数えられます。守られているかどうかが、初めて数で見えるようになりました。

ただ、代償があります。3件書いておきます。

1件目。検査そのものが古びます。 貸出の表は、この半年で189回作り替えられました。作り替えるたびに、名指しした13件の列を直すことになります。通してよい列を名指しする行は、これまでに120行書いて、そのうち101行はあとから消すか書き直しました。書いたもののほとんどを、一度は書き直している計算です。

2件目。通ったからといって、安全とは限りません。 この検査は、渡されたものの中から列の名前を拾って、13件と照らし合わせる形です。だから、列の名前が1件も拾えなかったときは、照らし合わせる先が無いまま黙って通ります。応援だけで回した日に、この抜けが出ました。止まらなかったことと、守られたことは別です。

3件目。144行の文章は、捨てられませんでした。 検査に移せたのは、最初の1行を移したあとに足したぶんを入れても数行です。残りの禁止事項が守ろうとしている情報は、備品の画面に付けた「聞く」のボタンを通りません。担当者が施術の記録を自分の端末で開いて、そのまま生成AIへ貼り付ける経路は、いまも残っています。手前に何かを置ける場所が無いので、文章のまま置いておくしかありません。

だから、いまの実務では手をつける順番が入れ替わりました。禁止事項を先に書くのをやめて、まず経路を1本に減らし、そのあとで、その経路に置ける禁止事項だけを検査に移します。

⑧ 現場で使うなら、この3つの問い

生成AIのガイドラインに1行足すたびに、その行について次の3つだけを確かめています。

問い	はい	いいえ
その禁止が破られる経路を、1本で言えるか	検査に移す	文章のまま残す
破ったとき、誰かの画面がその場で止まるか	効く	効かない。事故のあとにしか気づけない
検査は、通してよい形を名指ししているか	保つ	禁止語を探す形は、必ず漏れる