セキュリティ × 生成AI

答え合わせは、百年後にしか来ない

── 生成AIという"翻訳"を、私たちはどう受け取るか

池田 武弘(closip)|

私たちはAIに働きかけるだけでなく、AIから絶えず何かを受け取っている。要約を、下書きを、助言を。その流暢な答えの中に、最初から静かに溶け込んでいた歪みに、私たちはどうすれば気づけるのか。地図と、医学と、翻訳の歴史を鏡に、AI時代の「受け取り方」を問う。

これまで三度にわたって、私はセキュリティという切り口から、生成AIとの向き合い方を考えてきました。攻撃される面を、どうすれば最小にできるのか。禁止しても現場が使ってしまう道具を、どう安全な土俵の上に載せるのか。誰もが道具をつくれる時代に、その責任を誰が引き受けるのか。角度は違っても、私の視線はいつも同じ方を向いていました。AIに向かって、こちら側から何をするか。守りの設計を、いかに私たちの手で組み上げるか、という問いです。

けれど、ここへ来て、私はもう一つの問いが気になり始めています。向きが、ちょうど逆になった問いです。

私たちはAIに働きかけるだけでなく、AIから絶えず何かを受け取ってもいます。要約を、下書きを、助言を。そして受け取ったその答えを、多くの場合、疑いもせず、そのまま使っています。流暢で、筋が通っていて、もっともらしいからです。

ここで、立ち止まって考えてみたいのです。私たちがAIから受け取っているその答えの中に、最初から、何かが静かに溶け込んでいたとしたら。攻撃面は、こちらの努力で絞れます。土俵も、責任の所在も、設計できます。けれど、受け取る答えにあらかじめ混じり込んだ歪みは、いったいどうやって気づけばいいのでしょうか。


少し、仕組みの話をさせてください。

生成AIは、生まれつき言葉を知っているわけではありません。膨大な量の文章を読み込み、そこに現れる言葉と言葉のつながり方を、統計的に学びます。この「読み込む段階」を、事前学習と呼びます。私たちがAIから受け取る答えは、突き詰めれば、この事前学習で読み込んだ大量の文章の中から、最もそれらしいつながりを選び出して差し出したものです。

ここに、一つの見落としがあります。AIが読み込んだ文章は、中立でも、完全でもないということです。それは誰かが、どこかの時代に、特定の言語で、特定の立場から書いたものです。書き手の偏り、時代の偏り、言語の偏り。それらが最初から織り込まれた文章を、AIは世界の姿として学びます。たとえば、英語で書かれた情報が圧倒的に多ければ、AIが「標準」として差し出す視点は、自然と英語圏のものに寄っていきます。声の大きい多数派の記述が積み重なれば、少数派の見え方は、静かに背景へ退いていきます。

つまり、AIの答えとは、世界そのものではなく、世界について書かれた膨大なテキストを経由した、いわば"翻訳"なのです。原文があって、それを訳したもの。私たちは翻訳を読んでいるのに、しばしば原文を読んでいるつもりでいる。この小さなずれが、これから話すことのすべての出発点になります。


なぜ、私たちは翻訳を原文と取り違えてしまうのでしょうか。理由は、拍子抜けするほど単純です。AIの答えが、あまりにもなめらかだからです。

もし、AIの答えが明らかに間違っていたら、私たちは疑います。文法が崩れていたり、話の筋が通っていなかったりすれば、警報が鳴る。けれど事前学習データの偏りは、そういう壊れ方をしません。むしろ逆です。流暢で、自信に満ちていて、反論のすきが見当たらない。だから、疑うための引っかかりが、どこにもないのです。

人の脳には、もともとこうした癖があります。なめらかに処理できた情報を、それだけの理由で「正しい」と感じてしまう傾向です。認知心理学では、これを処理流暢性(processing fluency)と呼びます。読みやすさや聞き心地のよさを、私たちは無意識のうちに、内容の正しさや信頼性とすり替えて受け取ってしまう。さらに、なめらかな情報が繰り返されると、それだけで「見覚えがある」という親しみが生まれ、事実だと錯覚しやすくなる。真実性錯覚(illusory truth effect)と呼ばれる現象です。いずれも、何十年もの実験を通じて確かめられてきた、人間の普遍的な傾向です。

生成AIは、この癖の、いわば急所を突いてきます。人間の書き手なら必ずある、言い淀みも、論理の飛躍も、自信のなさのにじみも、AIの文章にはほとんどありません。だからこそ、私たちの中の「ちょっと待てよ」という検証のスイッチは、入る前に、そっと素通りされてしまう。

こうして、AIの答えに含まれた偏りは、疑われないまま、少しずつ私たちの前提の中に沈んでいきます。本来なら私たちが自分の頭で掬い上げ、引き継いでいくべき知恵とは逆の向きに、いわば"望まない暗黙知"として、静かに積もっていくのです。じわじわと効いてくる、というのは、こういうことです。派手な事故は起きません。ただ、気づかないうちに、私たちの当たり前が、少しずつ書き換わっていきます。


ここで、時代を大きくさかのぼってみます。人が「検証する術を持たないまま、目の前にある前提を信じるしかなかった」時代の話を、三つ、してみたいのです。私たちがいま置かれている状況を映す、鏡としてです。

一つめは、地図の話です。

二世紀、古代ローマにプトレマイオスという学者がいました。彼は当時知られていた世界を、緯度と経度の格子の上に描き出し、一枚の世界地図にまとめあげます。それは、後の千年以上を導くことになる、途方もない知の達成でした。けれど、その地図には二つの歪みが忍び込んでいました。地球の大きさを、実際よりかなり小さく見積もっていたこと。そして、ユーラシア大陸を、東へ実際よりずっと長く引き伸ばして描いていたことです。

誰も、それを確かめるすべを持ちませんでした。地球を一周して、その大きさを実際に測った者は、まだ誰もいなかったのです。だから人々は、その地図を信じるほかありませんでした。信じるしかないものを、信じた。それだけのことです。

時は流れて十五世紀。一人の航海者が、この地図に背中を押されます。クリストファー・コロンブス。彼はプトレマイオス由来の世界像を頼りに、こう計算しました。地球がこれほど小さく、ユーラシアの東の果て——アジアが、これほど東へ張り出しているのなら、いっそ西へ向かって海を渡っても、じきにその東洋にたどり着けるはずだと。実際には、彼はアジアまでの距離を、本当の四分の一ほどに見誤っていました。まともに見積もれば、当時の船では、たどり着く前に力尽きていたかもしれない距離です。

けれど——歴史が面白いのは、ここからです。その誤った確信に押されて西へ漕ぎ出したからこそ、コロンブスは、誰も想像していなかった大陸に行き当たりました。そう。歪んだ前提が、アメリカ大陸への到達という、誰も予想していなかった結末を、この世にもたらしたのです。

「歪みがある」という事実は、たいていは良くないことと受け止められます。しかし、話はそう単純ではありません。受け取ってしまった歪みによって、コロンブスは新しい扉をこじ開けたのです。まずは、この逆説を、頭の片隅に置いておいてください。


二つめは、医学の話です。今度は、先ほどとは正反対の結末が待っています。

二世紀のローマに、ガレノスという医師がいました。彼が築いた人体の解剖学は、あまりに精緻で説得力があったため、その後千四百年以上にわたって、ヨーロッパの医学を支配し続けます。医師たちは、疑うことを知りませんでした。ガレノスがそう書いたなら、人体はそうなっている。それが、揺るがぬ前提でした。

けれど、ここに一つの落とし穴がありました。ガレノスが生きた時代のローマでは、人体を解剖することは固く禁じられていたのです。では、彼は何を見て人体を描いたのか。サルやブタ、羊といった動物です。彼は動物の体を解剖し、その構造を、そのまま人間に当てはめていました。つまり彼の「人体図」は、最初から、別の生き物を経由した"翻訳"だったのです。当時、それを確かめるすべは、誰にもありませんでした。

時代が下り、十六世紀。ようやく人体解剖が行われるようになると、ある解剖学者たちは、目の前の遺体が、ガレノスの記述と食い違っていることに気づき始めます。ヴェサリウスという若き解剖学者は、実際に解剖刀を握り、ガレノスの誤りを一つ、また一つと突き止めていきました。

ここで、人はどう振る舞ったか。私が最も背筋を寒くするのは、この場面です。

ガレノスの権威を守ろうとした当時の高名な医師たちは、こう反論したのです。ガレノスは正しい。間違っているのは、目の前の人体のほうだ、と。たとえば、ガレノスは「人間の大腿骨は湾曲している」と記していました。しかし実際の骨は、まっすぐです。すると彼らはこう言いました。「昔の人間の骨は、本来は湾曲していた。まっすぐになったのは、近ごろの人々が細身のズボンをはくようになり、骨が矯正されてしまったからだ」と。別の食い違いについては、「人間が贅沢と快楽におぼれた結果、体の一部が失われたのだ」とまで説明しました。

反証は、目の前にありました。遺体は、嘘をつきません。それでも彼らは、事実のほうを疑い、こじつけてでも、内面化した前提を守り抜こうとしたのです。一度「正しい」と信じ込んだ前提は、これほどまでに強い。人は、自分が受け取った世界像を守るためなら、目の前の事実さえ、平気で歪めてしまう。


三つめは、私たちの国の話です。ここに、もう一つの振る舞い方があります。

一七七四年、江戸。杉田玄白と前野良沢という二人の医師が、一冊の西洋医学書を訳し上げ、『解体新書』として世に送り出しました。オランダ語の医学書を、日本語に移す。今でこそ偉業として語られますが、その中身は、決して完璧なものではありませんでした。

なにしろ、まともな辞書もない時代です。彼らはたった一語の意味をめぐって、幾日も頭を抱えました。訳しきれなかった言葉も、少なくありません。たとえば、ある臓器——今でいう膵臓——を指す言葉を、彼らはついに日本語にできず、原文の音をそのまま借りて「大キリイル」と、カタカナで書き記すしかありませんでした。訳せなかった、という事実を、そのまま本に残したのです。

けれど、私が玄白たちに深く打たれるのは、まさにその不完全さとの向き合い方です。玄白は、自分たちの訳が不十分であることを、痛いほど分かっていました。それでも彼は、完璧になるまで待つ、という道を選びませんでした。不完全なままでも、まず世に問う。そして、足りないところは、いつか、より優れた後の世代が直してくれる——そう信じて、あえて未完のものを差し出したのです。

その信頼は、裏切られませんでした。半世紀ののち、玄白の系譜を継ぐ大槻玄沢が、この訳を全面的に改め、『重訂解体新書』としてまとめ直します。かつて「大キリイル」と濁すしかなかった臓器には、「膵」という新しい漢字が与えられました。今も私たちが使う、あの「膵臓」の膵です。

立ち止まって、考えてみてください。「神経」も、「軟骨」も、「門脈」も、もとをたどれば、この翻訳の格闘の中から生み出された言葉です。誤りを含んだまま走り出し、世代を超えて、幾度も手を入れられながら、少しずつ確かなものになっていった。一度きりの完璧な翻訳などなかった。あったのは、不完全さを認め、それを引き継ぎ、直し続けていく、長い営みだけだったのです。


三つの話を、並べてみます。

出発点は、どれも同じでした。プトレマイオスの地図を信じた人々も、ガレノスを奉じた医師たちも、蘭語の医学書に挑んだ玄白たちも——みな、それが正しいかどうかを、その時代には確かめようがなかった。検証する術を持たないまま、目の前に差し出された前提を、信じるしかなかったのです。ここまでは、三者に違いはありません。

分かれたのは、その先です。受け取ったあと、その前提と、どう向き合ったか。運命を分けたのは、この一点でした。

ガレノスを奉じた医師たちは、前提を絶対の権威として祭り上げ、反証が突きつけられてもなお、事実のほうを歪めて守り抜きました。コロンブスは、歪んだ前提をひとまず信じて、行動に踏み出しました——その結果が吉と出たのは半ば幸運でしたが、少なくとも彼は前提を握りしめたまま立ち止まりはしなかった。そして玄白たちは、前提が不完全だと認めたうえで差し出し、後の世代に「直してくれ」と託しました。

守り抜いたガレノス派。踏み出したコロンブス。直し続けた玄白。同じ「確かめられない前提」を前にして、三者の振る舞いは、見事に分かれたのです。

ここで、私たちの話に戻ります。いま私たちは、生成AIという、真新しい「確かめられない前提」を、日々受け取っています。その答えが本当に正しいのか、どんな偏りを含んでいるのか、この時代のうちに完全に確かめる術を、私たちはまだ持っていません。つまり私たちは、あの三者とまったく同じ岐路に、立っているのです。

あなたは——そして私は——どの振る舞いを選んでいるでしょうか。AIがそう言うのだからと、事実のほうを疑い始めてはいないか。不完全と知りつつ、直しながら使う道を選べているか。この問いは、六百年前や千四百年前の誰かの話ではありません。今日、AIに向き合う私たち自身の話です。


ここで、私自身の来歴に、少しだけ触れることを許してください。私はもともと、無線通信を専門とする技術者でした。電波に情報を乗せて、遠くへ届ける。その世界で長く考えてきた人間です。

無線通信には、逃れられない宿命があります。送った情報は、途中で必ず歪む、ということです。電波は大気を抜け、建物に反射し、雑音にまみれて届きます。送り出したビットの列は、受け取る頃には、どこかが化けている。だから通信の技術者たちは、一世紀近くをかけて、ある仕組みを磨き上げてきました。誤り検出符号、そして誤り訂正符号と呼ばれるものです。送る情報に、あらかじめ検算用の"しるし"を添えておく。受け取った側は、そのしるしを照らし合わせて、「どこかが歪んだ」と気づき、さらには歪んだ箇所を「元へ直す」ことさえできる。歪みを前提として、それでも正しく届ける。これが、無線通信という営みの根幹です。

では、その誤り訂正が成り立つために、絶対に欠かせないものは何か。「本来、送られるべき正しい値」が、はっきり決まっていることです。正解が定義できるからこそ、受け取った信号と照らし合わせ、ずれを検出し、訂正できる。正解のない誤り訂正は、原理からして成立しない、のです。

ここまで書いて、私は、ぞっとするのです。

生成AIの答えに含まれた偏りを、私たちは「訂正」できるでしょうか。できません。なぜなら——その"正しい値"が、この時代の誰にも、まだ分からないからです。ガレノスの誤りを正すには、人体という「正解」に触れる必要がありました。けれど当時、その正解には誰も手が届かなかった。いま生成AIが差し出す世界像のどこが歪んでいるのか、その答え合わせに必要な「正解」もまた、私たちの手の届かない場所にあります。おそらくそれは、五十年、あるいは百年の時を経て、後の世代が振り返ったときに、ようやく見えてくる。私たちは、自分が受け取っている歪みを、リアルタイムでは訂正できない位置に立っているのです。

これが、「じわじわ効いてくる」ということの、本当の意味です。速さの問題ではありません。検証が、原理的に、間に合わない。それが、この歪みの、最も静かで、最も深い恐ろしさなのです。


では、どうすればいいのか。答え合わせが百年後にしか来ないのなら、私たちは、ただ手をこまねいているしかないのでしょうか。

ここで、もう一度、通信の話に戻らせてください。無線通信の誤り訂正もまた、決して万能ではありません。想定を超える激しい雑音が襲えば、訂正は破綻します。それでも技術者たちは、符号を添えることをやめませんでした。完全には防げないと知りながら、それでも、検出と訂正の仕組みを手放さなかったのです。なぜなら、手放した瞬間に、歪みは野放しになるからです。

私たちが生成AIと向き合うときも、同じ姿勢が要るのだと思います。正解が百年後にしか分からないからと、検証そのものを放棄してしまえば、私たちはガレノスを奉じた医師たちの側に、静かに滑り落ちていきます。そうではなく、自分の中の"誤り検出・訂正"のスイッチを、絶えず入れ続けておく。完璧な答え合わせはできなくても、今できる誠実さは、確かにあります。

それは、たとえば、三つの構えとして描けます。

ひとつは、一つの答えを、鵜呑みにしないこと。同じ問いを、別のAIに、別の人に、別の角度からぶつけてみる。一枚の地図だけを信じて航海に出るのではなく、複数の地図を照らし合わせる。食い違いこそが、歪みのありかを教えてくれます。

ふたつめは、その答えの"出自"を問うこと。目の前のAIは、そもそも、どんなデータを読んで育ったのか。誰の視点が濃く、誰の視点が薄いのか。借り物の地図の縮尺を、私たちはどこまで知っているでしょうか。自分たちが使うAIが、何を学んだものなのかを御せているか——この問いは、これからの組織にとって、静かに、しかし決定的に重くなっていくはずです。

そして三つめ。最後の解釈者で、あり続けること。AIの答えを、完成品としてではなく、あくまで"よくできた草稿"として受け取る。それを読み、疑い、直し、意味を与える——その最後の一手だけは、人間の手の中に握っておく。玄白が、不完全な訳を差し出しながら、その先を後の世代の手に託したように。

生成AIという、途方もなく流暢な"翻訳"を前にして、私たちが手放してはいけないもの。それは、なめらかな答えに身を委ねる心地よさではなく、「これは、本当に正しいのか」と問い続ける、あの小さな引っかかりのほうです。答え合わせは、遠い未来にしか来ないかもしれない。それでも——いや、だからこそ、私は、自分の中の誤り検出・訂正の営みを、手放さずにいたいと思うのです。