セキュリティ × 生成AI

忘れられないAIと、忘れて進む私たち

── 忘却という設計責任

池田 武弘(closip)|

人間は忘れることで前に進む。だが生成AIには「忘れる」機能がそもそも設計されていない。消したはずの情報が現役の顔で差し出され、組織の判断に静かな時差が混入する。忘れさせることは、AIではなく人間の仕事だ。

人間は、忘れることで前に進む

私たちは、驚くほど多くのことを忘れて生きています。

三日前の昼食も、去年の今日に何を考えていたかも、たいていは思い出せません。忘れることは、記憶の失敗のように語られがちです。けれど、少し立ち止まって考えてみると、これはむしろ、よくできた仕組みなのではないかと思うのです。

もし私たちが、経験したすべてを寸分違わず覚えていたら、どうなるでしょうか。古い約束と新しい約束が同じ重さで頭に残り、とうに終わった計画の前提が、今日の判断にそのまま割り込んでくる。過去のすべてが現役のまま居座る頭のなかで、私たちはおそらく、一歩も前に進めなくなります。もちろん、タイムスタンプ付きの情報であればそれらの問題をうまくクリアできるでしょうが、この場合には、膨大な量の蓄積と処理を行う必要が生じ、現実的ではないと思います。

脳科学の研究は、忘れることは単なる劣化ではなく、脳が能動的に行っている働きだと指摘しています。細かな事実を削ぎ落とし、要点だけを残す。古びた前提を手放し、変化した環境に合わせて記憶を更新する。忘れるからこそ、私たちは「今」に最適化された判断を下し、新しい状況へと柔軟に適応できる。忘却は、前に進むための能力なのです。

人間にとってあまりに当たり前のこの働きを、私はこのごろ、別の角度から考えるようになりました。私たちが日々使い始めている生成AIは、はたして「忘れる」ことができるのだろうか、と。

AIは忘れるのか?

答えから言えば、いいえ、です。

生成AIには、「忘れる」という機能が、そもそも設計されていません。人間の脳が古い記憶を能動的に薄れさせていくのに対して、AIにとって情報とは、基本的に「保持し、再び使うもの」です。入れたものは、残る。しかも、こちらが消したつもりでいても、思いがけないところに残り続けることがあります。

象徴的な出来事がありました。二〇二六年六月、OpenAIは「Dreaming(ドリーミング)」と呼ばれる新しい記憶の仕組みをChatGPTに導入しました。これは、ユーザーとの過去のやりとりを背景で読み込み、その人がどんな人物かを自動的に覚えておく機能です。興味深いのは、この機能が「記憶が古びる」という問題を解こうとして生まれた点です。たとえば「七月にシンガポールへ行く」という予定を、旅行が終わったあとには「七月にシンガポールへ行った」と、時間の経過に合わせて書き換えていく。作り手自身が、AIの記憶をいかに適切に保つかに、本格的に向き合い始めたわけです。

けれど、その裏側で、こんな指摘も語られるようになりました。この記憶は会話の履歴とは別の場所に保管されているため、ユーザーが過去の会話そのものを削除しても、AIが覚えた内容は消えずに残ることがある、と。私たちは画面から会話を消して、「これで消えた」と感じます。しかし、AIの側では、その記憶がまだ静かに生きている。「見えなくなった」ことと「消えた」ことは、必ずしも一致しないのです。

覚えていてくれるから、便利だ。消したはずのものが、消えていない。この二つは、同じ一枚のコインの表と裏です。そして厄介なことに、私たちはたいてい、便利な表側しか見ていません。

組織のなかで、「終わったこと」が現役の顔をする

個人の便利さの話なら、まだいいのです。問題は、これが組織のなかで起きたときに、静かに姿を変えることです。

多くの企業が今、社内の文書やデータをAIに読み込ませ、質問すれば答えが返ってくる仕組みを導入し始めています。就業規則を尋ねれば規程を要約してくれる。商品を尋ねれば価格や仕様を教えてくれる。過去の経緯を尋ねれば、関連する資料をまとめてくれる。たしかに、便利です。

けれど、ここに時間という厄介な変数が入り込みます。

規程は改訂されます。価格は改定されます。企画は中止になり、前提は覆り、担当者は異動していきます。組織にとって、「終わったこと」は日々生まれています。ところが、その「終わったこと」を記した古い文書は、多くの場合、消されずにどこかに残っています。改訂前の就業規則、値上げ前の価格表、白紙に戻った企画書、異動した人が残した引き継ぎメモ。これらがAIの参照範囲に残っていると、AIは悪びれることなく、それらを「答え」として差し出してくるのです。

私が最も注意すべきだと感じるのは、その差し出し方です。

古い情報は、いかにも古めかしい顔をして出てくるわけではありません。むしろ逆です。整った文章で、もっともらしい根拠とともに、まるで今も有効な情報であるかのように提示されます。改訂前の規程が、現行のルールとして丁寧に説明される。値上げ前の価格が、最新の見積もりに紛れ込む。受け取った担当者は、それが「終わったこと」だとは気づきません。派手に間違えてくれれば、むしろ気づけるのです。ところが実際に起きるのは、正しそうに見える、静かな時差の混入です。

近ごろ、こうした現象を指す言葉も生まれています。コンテキスト・ブリード(context bleed)——文脈の"にじみ"とでも訳せる現象です。ある場面では解決したはずの前提が、まるでインクがにじむように、まったく別の場面の回答へと染み出してくる。数か月前に片づいたはずの懸念が、いつの間にか今日の答えに影響を及ぼしている。人が「あの件はもう終わった」と切り替えても、AIのなかでは、その前提がまだ生きている。組織が前に進んでいるのに、AIだけが、過去のある一点に留まり続ける。

考えてみれば、これは奇妙な逆転です。私たちは人間の記憶が曖昧で、AIの記憶が正確だと思っています。けれど、こと「今、何が有効か」という一点においては、忘れられる人間のほうが正しく、忘れられないAIのほうが、古い前提に縛られてしまう。組織の判断に、静かに「昨日の答え」が混じり込む。この見えにくさこそが、私がこのテーマで最も伝えたいことです。

古い情報に基づく回答が、会社の責任になる

これは、少し想像を働かせれば、決して他人ごとではありません。実際に、こんな出来事がありました。

ある航空会社では、利用者が問い合わせのできるAIチャットボットを導入していました。航空会社のカスタマーサポートスタッフの負荷を軽減する素晴らしい取り組みです。ある日、祖母を亡くした男性が、遺族向けの割引運賃について尋ねたところ、AIは「搭乗後でも、一定期間内に申請すれば割引を受けられる」と、丁寧に案内しました。男性はその案内を信じて航空券を買い、葬儀に向かいます。ところが、あとで割引を申請すると、会社はこれを断りました。実際の規定では、割引は「搭乗前」の申請が条件で、搭乗後の申請は認められていなかったのです。AIの案内は、会社の現在の正しい規定とは食い違う、古い規定に基づくものでした。

男性はこれを不服として申し立て、判断を下す機関は、会社の側に責任があると認めました。注目すべきは、このとき会社が展開した反論です。会社は「AIチャットボットは独立した存在であり、その発言の責任は会社にはない」と主張しました。しかし、この主張は退けられます。チャットボットであろうと自社サイトの一部である以上、そこで示された情報の責任は会社が負う——そう判断されたのです。

さらに、この判断には、私たちが胸に留めておくべき一節がありました。会社は「利用者が、サイト内の正しい規定のページを自分で確認すべきだった」とも主張したのですが、これも認められませんでした。同じ会社が発信している情報のうち、どれが正しくてどれが古いのかを、受け取る側が一つひとつ照合しなければならないとしたら、それはあまりに酷だ、というわけです。

この出来事が示しているのは、こういうことです。AIが古い前提を現役の顔で差し出したとき、その一言を信じた相手に不利益が及べば、責任は、AIではなく、それを掲げていた組織に返ってきます。「AIが言ったことだから」は、免罪符にはならないのです。組織が「もう終わった」と思っていた古い情報は、ただ社内で静かに眠っていたのではありませんでした。会社の名前を背負って、外に向かって、語り出していたのです。

なぜ、消えないのか

では、なぜAIは、これほどまでに忘れられないのでしょうか。それは、担当者の不注意のせいではありません。もっと根の深い、構造の問題です。

AIが情報を覚える場所は、ひとつではありません。大きく分けても、二つあります。ひとつは「メモリ」と呼ばれる、ユーザーとのやりとりを覚えておく仕組み。もうひとつは「RAG(ラグ)」と呼ばれる、社内文書などの外部資料を検索して答えに使う仕組みです。さらにその内側では、学習の過程でモデルそのものに溶け込んだ知識、検索のために作られた索引、処理を速めるための一時的な控え、万一に備えた予備の保管先といった具合に、情報はいくつもの層に分かれて存在しています。だからこそ、ある場所から消しても、別の場所には残っている、ということが起こります。「削除ボタン」を押したときに私たちが消しているのは、多くの場合、そのうちのひとつの層にすぎません。消したという操作と、本当に消えたという状態は、はじめから同じものではないのです。

そしてもうひとつ、見落とされがちな性質があります。社内文書を参照して答えるタイプのAIは、質問と「意味の近い」文書を探し出してくる仕組みで動いています。ここには、時間という観点が抜け落ちています。改訂前の規程と改訂後の規程は、書かれている内容がよく似ているため、AIにとっては「意味がとても近い文書」として、ほとんど区別なく並びます。どちらが新しいかを、この仕組みはそもそも見ていません。人間なら「これは去年の版だ」と一目で気づくところを、AIは、意味の近さだけを頼りに、古い版を平然と選び出してしまうのです。

つまり、古い情報が現役の顔をして現れるのは、偶然の事故ではありません。忘れることを設計に組み込んでこなかったAIにとって、それは、構造から導かれる当然の帰結なのです。だとすれば、精神論や注意喚起だけでこの問題を乗り越えることは、できません。

忘れさせることは、人間の仕事

ここまで読んで、不安を覚えた方がいるかもしれません。けれど、私はこれを、悲観的な話として終わらせたくないのです。

技術の側も、手をこまねいているわけではありません。学習したモデルから特定の情報だけを狙って消す「機械的忘却」と呼ばれる研究が進み、大手金融機関と大学が共同で、モデルを一から作り直さずに不要な知識を取り除く手法を発表するといった動きも出てきています。情報を、いつまで保持し、いつ失効させるか。その期間をあらかじめ設計しておく運用も、少しずつ広がっています。AIに「忘れさせる」ための技術は、たしかに前へ進んでいます。

制度の側も動き始めました。欧州では、AIモデルのなかに残る個人情報をきちんと消せるようにすべきだという議論が、規制当局のあいだで本格化しています。「覚えさせる」ことばかりが語られてきたこの数年を思えば、「消せること」に目が向き始めたのは、大きな変化です。

ただ、私がいちばん申し上げたいのは、その手前のことです。

規制に対応するより前に、技術が追いつくのを待つより前に、まず問い直すべきことがあります。——その情報は、いつの時点で有効なのか。規程を改訂したあと、古い版は、AIのなかからきちんと退役したのか。私たちが「削除した」と思っている状態と、AIがもう参照しないという状態は、本当に一致しているのか。

これらは、AIに尋ねても答えてはくれません。忘れることを設計できるのは、AIではなく、私たち人間だけだからです。

考えてみれば、私たちはこれまで、AIにいかに「覚えさせるか」ばかりを考えてきました。より多くを、より正確に、より長く。けれど、人間を人間たらしめている知恵のひとつが「忘れること」だったのだとしたら——これからの私たちに問われるのは、AIにいかに上手に「忘れさせるか」を設計する力なのだと思います。

忘れられないAIと、忘れて進む私たち。その違いを引き受けて、忘れることの責任までも設計する。それが、この便利な道具と長くつきあっていくための、静かな作法なのではないでしょうか。