新人のころ、「わかんないことあったらまずマニュアル自分で調べて、それでもダメなら先輩に聞け」と、メンターの先輩に口酸っぱく言われていました。
業務マニュアルは社内ネットで閲覧できて、よく読むシリーズは印刷して、デスクの引き出しにも入れていました。でも、白状しますと、筆者がマニュアルを開いたのは入社直後と、みんながめっちゃ忙しそうにしているときくらいでした。（メンターの先輩、すみませんでした。）
わからないことがあったとき、多くの同僚はマニュアルを開かないんです。代わりにどうするかというと、「これ、どうすればいいんでしたっけ」と、部署に一人はいる物知りの「あの先輩」のところに行く。先輩は「ああ、それね」と顔を上げて、3秒で答えをくれる。しかも、こちらの状況を察して、「あ、それ◯◯のケースだったら例外あるから気をつけてね」と、聞いてもいないことまで付け足してくれる。マニュアルの該当ページを10分探して、読んで、自分のケースに当てはまるか悩むより、圧倒的に速くて、確かでした。
なぜ、みんなマニュアルを引かずに、人に聞くのか。
答えは単純で、そのほうが速くて、確かで、安心だからです。マニュアルは、どこに書いてあるか探すのが面倒だし、読んでも自分のケースに当てはまるか不安が残る。先輩は、文脈を汲んで、過不足なく、信頼できる答えをくれる。人は、賢いシステムより「ちゃんと頼れる相手」を選ぶ生き物なんですよね。
しかも、あの先輩のすごいところは、間違えたときの振る舞いでした。たまに「ごめん、それうろ覚えだから、念のため総務に確認して」と言う。100点満点の答えを毎回くれたわけじゃないんです。でも、自信のないことを正直に「自信ない」とか「分からんねそれ」と言ってくれるから、安心して頼れた。信頼って、正解率の高さじゃなくて、こういう誠実さの積み重ねで出来ているんだなと、いまになって思います。
この話、社内RAGがなぜ使われないか、という問題のど真ん中だと筆者は思っています。（RAGとは “Retrieval-Augmented Generation” の略で、AIが回答する前に社内規程やマニュアルなどのドキュメントを検索し、見つけた内容を根拠に答える仕組みのことです。世の中で「社内GPT」「社内AIチャット」と呼ばれているものは、だいたいこれだと思ってください。）今日はそれを、一つのプロジェクトを追いかけながら、ほどいていきます。あなたの会社で、せっかく作ったのに開かれなくなったあのシステムを、思い浮かべながら読んでもらえると、うれしいです。（で、誰なんだい君は、と思った方。自己紹介をご覧くださいませ。マニュアルすら真面目に開かず、「センパイ教えて」と他力本願で生きていた新人は、その後こんな感じで生きています。）
高い精度のRAGを作ったのに、誰も使わなかった話
たとえば、こんなプロジェクトがあったとします。筆者がいろんな会社で見てきた「社内RAGあるある」を、一つの会社の物語にまとめてみました。あなたの会社で起きたことと、半分くらいは重なるかもしれません。
ある会社が、社内のドキュメントを全部読み込ませた「社内GPT」を構築しました。規程、マニュアル、過去の議事録、製品仕様――何でも質問すれば答えてくれる。ベンダーは「検索精度95%」を謳い、社内発表会では拍手が起きました。
最初の1週間は、みんな面白がって使いました。「うちの経費規程で、タクシー代って上限いくら？」みたいな質問を投げて、「おお、ちゃんと答える」と盛り上がる。導入を主導した情シスの担当者は、誇らしげでした。気持ち、わかります。半年かけて作ったものが、ちゃんと動いて、みんなが触ってくれているんですから。
ところが1か月後。アクセスログは、見事なまでの右肩下がりでした。急流？もはや滝？のごとく。とにかく気づけば、誰も開いていない。あんなに盛り上がったのに、です。
何が起きたのか。
ひとつ目。たまに、自信満々に間違える。 古い規程と新しい規程が両方読み込まれていて、AIが古いほうを引いてくる。たとえば、ある人が出張の宿泊費の上限をRAGに聞いて、その額で手配したら、実は規程が改定されていて精算で揉めた。一度それで恥をかいた人は、もう二度と使いません。それどころか、「あれ、間違えるらしいよ」と同僚に言ってまわる。悪い評判は、いい評判の3倍速で広がるんですよね。自信満々に間違えるAIは、現場にとって、いないより厄介なんです。
ふたつ目。わざわざ開かないと使えない。 専用のページをブックマークして、ログインして、検索窓に打ち込む。たった数十秒の手間です。でも、その数十秒が、忙しい現場には地味に重い。みんなが一日中開いているのはSlackやTeamsであって、社内GPTのページではない。「あそこに行けば答えがある」と知っていても、わざわざ行かない。人間は、そういうふうにできています。
そしてみっつ目。これが本丸です。結局、あの先輩に聞いたほうが早い。 隣の席の物知りに「これどうするんでしたっけ」と聞けば3秒だし、間違いないし、ついでに例外も教えてくれる。RAGは、まだその先輩に勝てていなかった。精度95%は立派な数字だけど、人が人に聞くのをやめるには、まったく足りなかったんです。
なぜ「精度を上げる」では解決しないのか
ここで多くのプロジェクトは、「じゃあ精度を98%に上げよう」という方向に走ります。でも、たぶんそれでは解決しません。
考えてみてください。あの先輩だって、たまには間違えます。それでも信頼されていたのは、間違えそうなときに「いや、これは自信ないから、念のため確認して」と正直に言ってくれたからです。100%正しいから信頼されたんじゃない。わからないことをわからないと言うから、信頼されていた。
RAGに足りなかったのは、精度そのものより、この「信頼の設計」と「動線の設計」でした。どんなに賢くても、現場の動線の外にいて、間違いを正直に申告しない相手は、使われません。「使われないRAG」は、技術の問題に見えて、実は体験の問題なんです。
考えてみると、精度95%という数字には、もう一つ罠があります。残りの5%が「どこに紛れているかわからない」ことです。20回に1回間違えるけれど、それがいつ来るか予測できない。これは、使う側にとってかなり怖い。毎回「今回の答えは、95%のほうか、5%のほうか」を自分で見極めないといけないなら、結局すべてを確認するはめになる。確認するくらいなら、最初から自分で調べる。——こうして、せっかくのRAGは「確認の手間が増えるだけのもの」に成り下がってしまう。
だから、目指すべきは「95%だけど、どこで間違えるかわからないシステム」ではなく、「答えられる範囲は狭いけれど、その中ではほぼ間違えず、怪しいときは正直に白旗を上げるシステム」なんです。賢さの幅より、信頼の確かさ。ここを取り違えると、いくら精度を磨いても報われません。
では、さっきの会社が、別のやり方を選んでいたらどうなったか。
同じプロジェクトを、「頼れる一人」を育てるように作り直す
巻き戻します。同じ会社、同じ「社内の知識を活かしたい」という願い。ただし今度は、全部のドキュメントを一気に読み込ませることから始めません。
いちばん多い「聞かれごと」を一つに絞る
まず、社内で実際にいちばん多く聞かれている質問を一種類だけ選びます。たとえば「経費精算のルール」。総務や経理に「これ、よく聞かれるんですよね」というものが、必ずあるはずです。それを一つ。
あれもこれも答えられる物知りを目指さない。「経費のことなら、あいつに聞けば確実」という一点突破の信頼を、先に作る。これ、人間関係とまったく同じだと思うんです。何でも中途半端に知っている人より、「この分野だけは絶対に頼りになる」人のほうが、信頼される。狭く始めるほど、確実に頼られます。
その一点のデータだけ、きれいに整える
経費精算なら、その関連文書だけを、人の手で整理します。古い規程は思い切って消す。例外は明記する。「2024年4月改定」みたいな日付も入れる。地味で、泥臭くて、誰もやりたがらない作業です。筆者だって、正直やりたくありません。でも、ここを手抜きすると、また自信満々に間違えて、せっかく作った信頼が一回で吹き飛ぶ。
ポイントは、精度を、全体で底上げしようとしないこと。全社の全ドキュメントをきれいにするなんて、一生終わりません。狙った一点だけ、本物にする。経費のことだけは絶対に間違えない。それでいいんです。
人が「すでにいる場所」に置く
専用ページは、作りません。みんなが一日中開いているSlackやTeamsの中に、その経費ボットを住まわせる。チャットで「タクシー上限は？」と聞けば、その場ですぐ答える。わざわざ会いに行かなくても、隣の席にいる先輩のように、すぐそこにいる。
この「すでにいる場所に置く」って、地味だけど、効果は絶大です。使ってもらうために人間の習慣を変えさせるのではなく、人間の習慣のほうに、AIを連れていく。動線を相手に合わせるんですね。
わからないことは、正直に渡す
そして、AIが自信を持てない質問には、「これは規程の解釈が要るので、経理の◯◯さんに確認してください」と正直にパスさせる。知ったかぶりをさせない。間違えて信頼を失うより、「わからない」と正直に言うほうが、ずっといい。
そう、冒頭のあの先輩がやっていた、あれです。「うろ覚えだから確認して」と言えるかどうか。それができるシステムだけが、人に頼られる相手になれる。誠実さは、人間だけの特権じゃなくて、ちゃんと設計できるものなんです。
「経費のことなら、あいつに聞け」と呼ばれるまで
最初の社内GPTは、全社のドキュメントを読み込んだ、精度95%の立派なシステムでした。でも、専用ページにわざわざログインしないと使えず、たまに自信満々に間違える。だから1か月で開かれなくなって、みんなまた「あの先輩」のところへ歩いていった。
作り直したボットは、ぐっと地味です。答えられるのは経費まわりだけ。全社のドキュメントなんて読んでいない。でもSlackの中にいて、3秒で答えて、自信がないときは正直に人へ渡す。気づけば、経理への問い合わせが目に見えて減って、現場のほうから「次は出張申請のことも答えてほしい」「有給のルールも頼む」と声がかかるようになりました。
この「向こうから言い始める」が、すごく大事なサインです。最初のRAGは、こちらが「使ってください」とお願いしても使われなかった。新しいボットは、誰もお願いしていないのに、機能追加をせがまれる。同じ「社内RAG」という技術なのに、立場が完全に逆転している。狭くて誠実な一点が信頼を勝ち取ると、そこから自然に広がっていくんですね。あの物知りの先輩が、いつのまにか経費以外のことも聞かれるようになっていったのと、同じように。
社内RAGが使われるかどうかを決めるのは、検索精度の小数点以下ではありません。「人が、人に聞くのをやめてもいいと思えるだけの、信頼と手軽さ」があるかどうかです。あの先輩が3秒で信頼を勝ち取っていたものを、システムでどう再現するか。問いは、技術の奥ではなく、そこにあります。
ちなみに、ああいう「頼れる先輩」は、たぶんどの会社にもまだいて、今日も誰かに質問攻めにされているんだと思います。どんなに優秀なRAGを作ったところで、あの人の席にできる質問の行列が、すぐにゼロになることはないでしょう。人は、やっぱり人に聞きたい生き物なので。
でも、もし社内GPTが本当に「頼れる相手」になれたなら、先輩がいれたてのお茶をゆっくりすする時間くらいは、少し増やしてあげられるかもしれません。社内RAGのいちばん地味で、いちばん本物のゴールは、案外そのあたりにあるんじゃないかと、筆者はひそかに思っています。
この記事は、ARCHECOが運営するメディア「アプリ戦略大学」でお届けしました。ARCHECOは、UI/UXデザインとプロダクト開発を強みに、お客さまと並走しながら「使われるもの」をつくっているチームです。ご相談・お問い合わせはこちらからどうぞ。
