セキュリティ × 生成AI

つくる人が、守る人になる

AIが現場に道具を手渡したあとで

池田 武弘(closip)|

生成AIは、つくる力を現場の一人ひとりに手渡した。そのとき、守る責任はどこへ行くのか。誰か一人の肩から組織全体の手のひらへ——薄くにじみ広がった「引き受け」を、ぼやけさせずに描く方法を考える。

前回のコラムの終わりに、私はひとつの宿題を残しました。

シャドーAI——会社が把握していないAIの利用に、どう向き合うか。その答えとして、私は「使わせない」ではなく「安全に使える土俵を、組織の側が用意する」という方向を示しました。そして、その土俵の上では、現場の社員が、専門的な知識を持たなくても、自分の業務に合った道具を、自分の手でつくれるようになる——そう書きました。

けれど、そこで筆を止めたのです。「専門知識のない人が、どうやって道具をつくるのか。その具体は、また稿を改めて」と。

今日は、その続きを書きます。ただし、つくり方の手ほどきではありません。私が考えたいのは、もう少し先のことです。

——現場が、自分の手で道具をつくれるようになった。そのとき、守る責任は、どこへ行くのでしょうか。

これまで、社内で使う仕組みの安全は、情報システムの部門が引き受けてきました。彼らが設計し、彼らが点検し、彼らが守る。つくることも、守ることも、専門家の側にまとまっていて、現場は、できあがった道具を使う側にいたのです。けれど、現場の一人ひとりが、自分の道具を自分で生み出し、使うようになったとき、その分担は、静かに崩れ始めます。使う人が、知らないうちに、守るべきものを抱え込んでいる。そして、これまで守ることを専門としてきた人が、何が生まれているのかを、もう把握しきれない。

このシリーズで、私は守りの作法を二つ重ねてきました。外からの攻撃には、攻め込まれる面を小さく設計する——「見えなければ、狙えない」。内側の見えない利用には、それを見えるように設計する——「見えなければ、守れない」。どちらも、「見える/見えない」をめぐる話でした。

今日の話は、その軸とは少しちがいます。問うのは、見えるかどうかではありません。つくられたものの責任を、誰が、どう引き受けるのか。守りの重心が、「見る」から「引き受ける」へと移っていく——その移ろいを、今日はたどってみたいと思います。

もう、作られている

まず、ひとつの事実から始めさせてください。

私たちはつい、「現場にAIで道具をつくらせるべきか」という問いを立てがちです。許すべきか、禁じるべきか。リスクは高くないか。導入の是非を、これから検討すべき課題のように語ってしまう。けれど、その問いの立て方そのものが、もう現実から半歩遅れ始めているのかもしれません。

調査会社のガートナーは、数年前にこう予測していました。企業のなかで使われるソフトウェアのうち、専門的なプログラミングを必要としない手法——ノーコード、ローコードと呼ばれる、いわば「組み立て式」のつくり方——が占める割合は、やがて七割に達するだろう、と。かつて四分の一にも満たなかったこの数字が、です。そして、その「やがて」が、いままさに、私たちが立っている時点にあたります。予測は、絵空事では終わりませんでした。事実、同じ調査によれば、これらの国々では、企業で働く人のおよそ四割が、すでに情報システムの部門の外で、自らテクノロジーやデータを扱う道具をつくる側に回っている、といいます。

つまり、こういうことです。社内で動いている仕組みのかなりの部分が、もはや専門の開発者がつくったものではなくなりつつある。営業の担当者が、総務の担当者が、現場のそれぞれが、自分の仕事を楽にするために、自分で組み上げたものになっていく。

そして、この流れを決定的にしているのが、生成AIです。 やりたいことを言葉で伝えれば、AIが道具のかたちにしてくれる。「顧客の一覧から、条件に合う人を抜き出して、案内文をつくって送る」——そう話しかけるだけで、仕組みが立ち上がる時代です。

これらの数字は、いまの日本の実感からすれば、まだ遠い世界のものに見えるかもしれません。実際、国内の生成AIの普及は、これらの国々に比べれば、まだ控えめな段階にあります。けれど、方向は同じです。道具をつくる力が、専門家の手を離れ、現場の一人ひとりへと行き渡っていく——この流れそのものは、遅かれ早かれ、私たちのところにも届きます。人手の足りない組織にとって、情報システムの部門に頼めば数か月かかっていた改善が、現場の手で数日のうちに片づくその身軽さは、待ち望んだ価値だからです。

だからこそ、いま考えておきたいのです。先を行く国々で、すでに起きていること。それは、これから日本の組織が通る道を、先回りして見せてくれているのかもしれません。

私たち自らが作った道具が、専門家の目を通らずに生まれて、使われていく。そのとき、つくられた一つひとつは、はたして、誰に見守られているのでしょうか。

善意は、静かにこぼれる

ここで、いくつかの場面を思い浮かべてみたいと思います。どれも、悪意とは無縁の、ごくまっとうな働き手の風景です。

ある営業の担当者が、案件の進み具合を仲間と共有するために、ちょっとした自動の仕組みをつくりました。見積もりが承認されたら通知が飛び、顧客へのフォローのタイミングを教えてくれる。便利なので、いつしか部のみんなが頼るようになりました。ところが、その人が会社を去る日、仕組みは本人のアカウントとともに、ふっと止まります。翌朝から、通知が来ない。誰かが慌てて中を覗こうとしても、どういう仕掛けで動いていたのか、本人以外には、もう誰にもわからないのです。

別の場面。総務の担当者が、休暇や備品の申請を楽にしようと、入力フォームをつくりました。はじめは、名前と所属だけの、ささやかなものでした。けれど、使われるうちに、自由記述の欄には、家庭の事情や、診断書の内容や、こまやかな個別事情が、少しずつ書き込まれていきます。誰も「個人情報を集めよう」とは思っていません。それでも、気づけばそのフォームは、繊細な情報の溜まり場になっている。便利にすればするほど、情報のほうから、そこへ寄ってくるのです。

これらの場面に、責められるべき人は、一人もいません。

営業の担当者は、仲間の仕事を助けたかった。総務の担当者は、申請の手間を減らしたかった。その動機は、前回のコラムで描いた、夜遅くに資料をつくる社員と、まったく同じものです。目の前の仕事を、きちんと、気持ちよく終わらせたい——その真っ当な思いの延長線上で、彼らの手は、道具づくりへと伸びました。

けれど、ここに、外からの攻撃とは決定的にちがう、この問題の難しさがあります。

攻撃には、はっきりとした「その瞬間」があります。誰かが侵入を試み、警報が鳴り、痕跡が残る。派手で、見つけやすい。一方、現場の善意の自作がリスクに変わる瞬間には、そうした劇的なしるしが、何もありません。誰かが会社を辞めた。フォームに、思いがけない情報が書き込まれた。便利だからと、少しだけ強い権限を与えた。ひとつ、また一つと、何気ない出来事が積み重なっていく。そのどれもが、それ単独では、事件ですらない。

だからこそ、危ういのです。

リスク化の瞬間が静かであるということは、誰も、その瞬間に気づけないということです。気づかれないまま、仕組みは「準・基幹」とでも呼ぶべき重さを帯びていく。止まれば困る人が増え、抱える情報が繊細になり、けれど、それを誰が見守っているのかは、はっきりしないまま。そしてある日、その人が辞めたり、設定を一つ間違えたりした拍子に、静かに積み上がっていたものが、一気に表面化するのです。

前回、私は「見えなければ、守れない」と書きました。あのとき問題にしていたのは、会社に隠れて使われるAIでした。けれど、いま見てきた場面は、隠れてもいなければ、もちろん悪意を持って作られたものでもありません。むしろ、みんなのために、堂々と、善意でつくられている。それでもなお、誰の目にも全体が映らないまま、リスクだけが育っていく。見えない利用とはまた別の難しさが、ここにはあるのです。

「動いた」は、「安全」ではない

ここまで、現場が道具をつくる流れと、その善意が静かにリスクへ変わる様子を見てきました。では、つくられたものの「中身」には、何が起きているのでしょうか。少し、踏み込んでみます。

生成AIに「こういう仕組みがほしい」と頼むと、たいていの場合、ちゃんと動くものが返ってきます。試してみれば、思ったとおりに振る舞う。つくった本人は、満足します。動いたのだから、できあがった、と。

ところが、ここに見過ごせない落とし穴があります。

ある研究チームが、こんな実験をしました。実際の開発現場で起こりそうな二百の作業を用意し、それを最新のAIにこなさせて、できあがったものを二つの観点から採点したのです。ひとつは「ちゃんと動くか」。もうひとつは「安全か」。結果は、考えさせられるものでした。ちゃんと動いたものは、六割を超えていた。けれど、安全だと言えたものは、一割ほどしかなかったのです。しかも、「安全に気をつけて」とAIに念を押しても、その数字はほとんど改善しませんでした。

つまり、こういうことです。AIがつくるものは、高い確率で「動く」。けれど、「動く」ことと「安全である」ことのあいだには、私たちが思うよりずっと、深い溝がある。そして厄介なことに、その溝は、目には見えません。動いている画面を眺めているかぎり、何の問題もないように見えるのです。

つくった本人に、悪気はありません。むしろ、きちんと動くものを仕上げた、という達成感さえあるでしょう。けれど、その裏側で、覗いてはいけないはずの情報が誰でも見られる状態になっていたり、外へ通じる扉が開いたままになっていたりする。動作の確認はできても、安全の確認は、そもそも視野に入っていない。「動いたからよし」という、ごく自然な判断こそが、いちばん危ういのです。

ただ——ここからが、本当に大事なところです。

この問題を、「AIのつくるものには、不具合が混じりやすい」という話だと受け取ると、本質を見誤ります。もしそれだけなら、誰か技術のわかる人が中身を点検すれば済む話でしょう。けれど、現場の自作で本当に怖いのは、もっと別のところにあります。

セキュリティの専門家たちが、現場の自作ツールに潜むリスクを整理したとき、その最上位に並んだのは、コードの不具合ではありませんでした。挙げられたのは、「なりすまし」と「権限の乱用」——つまり、誰がその道具を使えて、どこまでのことをできるのか、という"権限の設計"の崩れだったのです。

具体的には、こういうことが起こります。道具をつくった人が、自分の強い権限を、つくった道具のなかに、そのまま埋め込んでしまう。すると、その道具を使う人は皆、知らないうちに、つくった人と同じ強さで、社内のデータに手を伸ばせてしまう。本来なら一部の人しか触れないはずの情報に、道具を通せば、誰でも届いてしまう。コードは何ひとつ壊れていません。ただ、「誰に、どこまでを許すか」の線引きが、つくる過程で溶けてしまっているのです。

ここに、現場が道具をつくる時代の、守りの急所があります。

かつて、つくり手に求められたのは、正しく動くものを書く力でした。けれど、いま現場のつくり手に静かに移ってきたのは、それとはちがう重さです。「動く」を確かめる力ではなく、「これは安全か」「誰に何を許しているか」を見極める力。コードを書く能力ではなく、書かれたものを吟味する責任。生成AIは、つくる力を現場に手渡すと同時に、これまで専門家が引き受けていた**"吟味する重み"までも、そっと現場の肩に乗せた**のです。

そして多くの場合、乗せられた本人は、まだ、その重さに気づいていません。

責任は、移らない。にじむ

前の節で、私は「吟味する重みが、現場のつくり手に移ってきた」と書きました。けれど、これを「守る責任が、情報システムの部門から現場へ、まるごと引っ越した」と読むと、少しだけ、ずれます。

実際に起きているのは、引っ越しではありません。もっと、つかみどころのない動きです。これまで一人が背負っていた大きな責任が、いくつもの小さな「引き受け」へとほどけて、組織のあちこちに、薄く、にじんでいく——そういう変化なのです。

ここで言う「引き受け」とは、ただ義務を負わされることではありません。新しい力を手にした人が、その力に見合うぶんだけ、自分の持ち場を引き受ける——いわば、得たものと背負うものが、対になっている。前の節で、つくる力を手渡された現場が、同時に吟味の重みを受け取ったように、です。

順に、見ていきましょう。

まず、道具の土台を提供する側——AIや「組み立て式」の仕組みを世に出す事業者です。彼らには、その土台そのものを安全に保つ引き受けがあります。けれど、彼らに担えるのは、あくまで土台までです。その上で、それぞれの会社が、どの情報をどこへ流していいのか——そこまでは、土台を出す側には決められません。家のつくりをどれほど頑丈にしても、住む人がどの部屋に誰を通すかは、住む人にしか決められないのと同じです。

次に、情報システムの部門。これまで彼らの仕事は、社内の仕組みを「自分たちでつくる」ことでした。けれど、つくり手が現場へ広がったいま、その役割は静かに変わります。すべてを自分でつくるのではなく、現場が安全につくれる「場」を設計すること。どこでなら自由に試していいのか、どこからは慎重になるべきか。その境界を引き、見守る仕組みを整える。つくる人から、つくる場を整える人へ——情報システムの重心が、移っていきます。

そして、見落とされがちなのが、現場を束ねる管理職です。

これまで管理職は、「こういう道具がほしい」と発注する側でした。けれど、部下が自分の手で道具をつくるようになった世界では、その立ち位置だけでは、もう足りません。部下がつくった道具が、どんな情報を扱っていて、誰が持ち主で、もしそれが止まったら誰が困るのか——そこまでを把握し、説明できる人。いわば、人の上司であると同時に、「道具の上司」でもあることが、静かに求められ始めているのです。

最後に、つくり手本人。前の節で見たとおり、その肩には「吟味する重み」が乗りました。ただ、それはコードの品質に全責任を負う、ということではありません。求められているのは、もっと地に足のついた自覚です。自分がつくったこの道具は、何と何をつないでいるのか。どこへ情報を送り出しているのか。あとに何が残るのか。誰の手に渡るのか。——派手な専門知識ではなく、自分の手元を見つめる、この静かな目配りなのです。

こうして並べてみると、ひとつのことに気づきます。

「現場に任せて大丈夫なのか」という問いも、「結局すべて情報システムが背負うべきだ」という構えも、どちらも、的を外しているのです。守る引き受けは、誰か一人が抱え込むものではなくなりました。土台を出す人、場を整える人、束ねる人、つくる人——その全員の手のひらに、少しずつ載っている。

たとえるなら、合鍵のようなものかもしれません。かつて、社屋の鍵は、限られた人だけが持っていました。けれど、現場の誰もが道具をつくれるいまは、いわば一人ひとりが、自分の合鍵を握っている状態です。鍵を取り上げて回るのは、もう現実的ではありません。だとすれば、考えるべきは、どの鍵がどの扉を開けるのか、その鍵を持つ人は何を任されているのか——その全体像を、組織として描き、保てるかどうか。

引き受けは、どこか一点へ移ったのではありません。組織全体へ、薄くにじみ出したのです。そして、にじんだものは、放っておけば、ただぼやけていきます。それを、ぼやけさせずに、きちんと見取り図にできるか。そこに、次の問いが立ち上がります。

全部を見張らない、という設計

では、にじみ広がった引き受けを、ぼやけさせないために、組織には何ができるのでしょうか。

ひとつだけ、はっきりしていることがあります。「現場がつくったものを、すべて情報システムが点検する」——この力技は、もう成り立たない、ということです。数日にひとつ、新しい道具が生まれていく世界で、その一つひとつを専門家が確かめて回るのは、最初から不可能です。やろうとすれば、現場の速さという、せっかくの価値を、自分の手で殺すことになる。

だとすれば、発想を変えるしかありません。すべてを見張るのをやめて、「どこまでなら、自由にしてよいか」をあらかじめ決めておく。守りの設計の重心を、一つひとつの点検から、場の線引きへと移すのです。

この考え方を、見事に形にしている組織があります。世界的に事業を展開する、ある巨大企業の取り組みです。

そこでは、現場がつくる道具を、リスクの大きさに応じて、三つの区域に分けています。たとえるなら、信号の色のように。

ひとつめは、いわば「青」の区域。個人の仕事を少し楽にする程度の、影響の小さな道具です。ここでは、現場の人が、つくることから使うことまで、すべてを自分の裁量で進めてよい。いちいち許可を求める必要はありません。そのかわり、何がつくられたかは、あとから自動で見えるようにしておく。自由に、けれど、足跡は残る。

ふたつめは、「黄」の区域。部署をまたいで使われたり、少し慎重に扱うべき情報に触れたりする道具です。ここでは、現場の人がつくることは変わりませんが、傍らに、詳しい人が伴走します。一人で抱えず、相談しながら仕上げ、確かめてから世に出す。自由は保ちつつ、危ういところには、そっと手が添えられている。

みっつめは、「赤」の区域。会社の根幹に関わる情報や、全体に大きな影響を及ぼす仕組みです。ここは、現場は「何がほしいか」を伝える役に回り、つくること自体は、専門家がしっかりと引き受ける。

大切なのは、この三色が、「現場を信じるか、信じないか」で分けられているのではない、ということです。分けているのは、信頼ではなく、リスクの重さです。だからこそ、現場は萎縮しません。小さな工夫は、今日も自由に試せる。けれど、扱うものが重くなるにつれて、支える手が、自然と増えていく。自由と慎重さが、地続きのまま、なめらかに移り変わっていくのです。

そして、もうひとつ。この区分けを、人の心がけだけで支えようとしない、という点も見逃せません。

「大事な情報を、勝手に外へ持ち出さないように」と、何度も呼びかけることはできます。けれど、呼びかけは、いつか緩みます。疲れていれば、忘れもする。だから、進んだ組織は、呼びかけのかわりに、仕組みそのものに線を引きます。たとえば、社内の大切な情報を、外向けの場所へ流し込もうとする道具は、つくろうとした時点で、そもそも組み上がらないようにしておく。誓いに頼るのではなく、危ういつなぎ方が、構造として成り立たないようにしておくのです。

ここには、このシリーズを通じて私が繰り返してきた発想が、はっきりと表れています。

守りの強さは、「禁止」を積み上げた量で決まるのではありません。むしろ逆で、安全な道を通ることが、いちばん楽である——そういう状態をどれだけ自然につくれるかで、決まります。危ない近道がふさがれていて、まっとうな道がいちばん歩きやすい。そうであれば、人はわざわざ危ない道を選びません。第一回で「攻め込まれる面を、はじめから小さく設計する」と書いたのも、根は同じ思想です。意志の力で危険を避けるのではなく、危険が成り立ちにくいように、場のかたちを整えておく。

全部を見張ることを、潔く手放す。そのかわり、自由に動いてよい範囲を、設計の力で、賢く描いておく。これが、にじみ広がった引き受けを、ぼやけさせないための、現実的な答えなのだと思います。

つくる自由には、名前と足跡を

ここまで、ずいぶん遠くまで歩いてきました。最後に、来た道を振り返らせてください。

このシリーズで、私は守りの作法を、三つ重ねてきました。外からの攻撃には、攻め込まれる面を、はじめから小さくしておく。内側の見えない利用は、見えるように設計する。そして今日は、現場が自らの手で道具をつくる時代に、その引き受けを、ぼやけさせずに描く。外を守り、内を見え、つくる責任を設計する——三つは、別々の話のようでいて、根は一本でつながっています。

その根とは、このコラム全体を貫く、ひとつの考えです。

私たちは長いあいだ、道具を「借りて」きました。出来合いの仕組みを、外から調達し、使わせてもらう。けれど、生成AIが現場の一人ひとりに創造の力を手渡したいま、組織は、道具を借りる側から、自分たちで生み出す側へと、静かに移りつつあります。これは、このコラムの一番はじめに掲げた、「借りる時代の終わり」という主題そのものです。今日の話は、その大きな流れを、守りの側から見つめ直したもの、とも言えます。

つくる自由は、すばらしいものです。それを、私は手放したくありません。

けれど、自由には、それを自由のままで終わらせないための、ささやかな作法が要ります。私は、それを二つの言葉にしたいと思います。持ち主と、足跡です

つくられた道具には、必ず、持ち主がいる。それが誰のものなのか、止まったら誰が困るのか、いつでも辿れるようにしておく。そして、その道具が、何とつながり、どんな情報を扱い、どこへ送り出しているのか——その足跡を、組織として、残しておく。派手な仕掛けではありません。けれど、この二つさえ保たれていれば、たとえつくった本人がいなくなっても、組織は、自分が何を抱えているのかを、見失わずにいられます。

「安全」と「創造性」は相反する要素ではなく、共存可能な要素だと思います。

自分が創造したものを、仮に自分がいなくなっても、「何をつくり、それが何につながり、何を扱い、どこへ出ていくのか」を、組織として把握できる状態——それを保ち続けること。「安全」と「創造性」の両立は、その見取り図を描き保存し続ける営みです。

冒頭で、私はこう問いました。現場が道具をつくれるようになったとき、守る責任は、どこへ行くのか、と。

その答えを、いま、こう置きたいと思います。守る責任は、消えたのではありません。誰か一人の肩から、組織全体の手のひらへと、薄く、けれど確かに、移り住んだのです。その、にじみ広がった引き受けを、ぼやけさせずに見守り続けられるかどうか。そこに、これからの組織の、静かな成熟が問われているのだと、私は思います。