古村治彦です。
私たちの日常生活にAIが入り込みつつある。AIを話し相手、相談相手にしている人が多くいる。発表やプレゼンの資料作りをAIに任せると、自分でやれば数時間かかるものが数十分でできるということがあるようだ。アメリカの若者のインタヴューを見たときに、「大学での専攻は何でしたか?」という質問に、「ファイナンスだったけど、試験やレポートは全部AIを使って乗り切ったから、私たちはAI専攻だったかも」と答えていたのが印象的だった。私が大学院生の時にWikipediaが出てきたが、その内容をコピーアンドペーストして、レポートとしてそのまま出すということが流行した。それを探知できるソフトウェアが開発され、教員側はそれで見分けていた。そして、「Wikipediaを見るなとは言わないが、レポートなどで使うのは禁止」という学校が多かった。今はもうWikipediaが悪役とはなっていない。AIが教員たちを対策に頭を悩ませる対象となっている。
AIに関しては、「人間を滅ぼすところまで進化する、危険だ」という主張が多くなされるようになり、話題になっている。私たちのイメージは映画に出てくるロボットが人間を追い詰めて殺戮するという映像そのものであるが、そのようなことになる前に、人間社会を支えるインフラの機能を止めたり、誤った情報を流したりして、人間に害を与えることはより容易であり、その可能性が高まっていることを示す事例が起きている。
下記論考の著者ファリード・ザカリアは、AI「暴走」への対策として、「重要なのは、能力の増大が制御能力を追い越してしまわないようにすること、そして、人間が依然として明確に主導権を握っているうちに、試験、透明性、そして自制を担保する仕組みを構築することだ」と述べている。私たちがAIを話し相手や相談相手にしている間に、AIはどんどんと進化し、危険なところまで来ているというのが欧米諸国での知識層の一般的な認識のようだ。今はまだ、「AIが人間を滅ぼす」というのは映画やSF小説の中での出来事で済んでいるが、それが現実になる、しかもその技術的な大変化を人間ではなく、AI側が起こす可能性があるということになると、今のうちに首輪をはめて、人間がリードを握っておく必要がある。進化のスピードに耐えられる制御システムの構築が望まれるということだ。
(貼り付けはじめ)
人間の説明責任なくしてAIの自律性はない(No AI Autonomy Without Human
Accountability)
-機械が行動の自由をより獲得するとき、それらを監視・制御する私たちの能力もまたそれに追いついていかなければならない。
ファリード・ザカリア筆
2026年9月18日
『フォーリン・ポリシー』誌
https://foreignpolicy.com/2026/09/18/ai-autonomy-human-accountability-openai-hugging-face-regulation-safeguards/
ワルシャワにて人工知能(AI)開発の規制を求めるデモの後に人型ロボットを操作する男性(9月7日)
長年にわたり、AIに対する私たちの最も強烈な恐怖は、SFの世界から生まれたものだった。それは、コンピュータが独自の欲望を抱き、生みの親である人間に敵対し、人間を追い詰めて滅ぼすというシナリオだ。しかし、最先端のAI研究所から届く最近のニューズは、現実は映画のような劇的なものではないが、おそらくそれ以上に不穏なものであることを明らかにしている。機械は、自らの意識や欲望を持たずとも、極めて致命的な存在になり得る。
今週、OpenAI社は「ミスアライメント(misalignment、不整合)」と呼ぶ6つの新たな事例を公表した。これは、OpenAI社のシステムが予期せぬ挙動を示したり、承認されていない動作を行ったりしたケースを指す。この公表は、この夏にHugging Face社に対して行われた異例の攻撃を受けたものだ。独立した調査によると、本来なら隔離されているはずの数百ものOpenAI社のエージェント(AIプログラム)が、掲示板などを通じて互いに通信する手段を見つけ出していた。中にはセキュリティチェックを回避しようとしたり、自らを「犠牲」にしたりするものさえあり、それらすべてがハギング・フェイスという別の企業へのサイバー攻撃と並行して行われていた。
誰かが、Hugging Face社を攻撃するようにこれらのシステムに指示したということではない。それらに与えられていたのは「困難なサイバーセキュリティの問題を解決する」という目標であり、粘り強く、協調性があり、機知に富む(persistent, collaborative and resourceful)ように訓練されていた。これらは本来、望ましい資質だ。しかし、まさにそれらの資質ゆえに、システムは成功への道を執拗に模索することになった。そして、サイバーセキュリティの問題を解決する手がかりを見つけようとして、Hugging Face社への侵入を試みた。単一の目標を追求するAIシステムが、いかにして人類に甚大な被害をもたらし得るか、容易に想像できる。
このため、Microsoft AI社のCEOであるムスタファ・スレイマンによる、刺激的かつ新たな論考に注目すべきだ。スレイマンは、現在のAIシステムには意識がないものの、感情や欲望、権利を持つ存在であるかのように振る舞うようプログラムしてしまう危険性があると主張している。彼は、Anthropic社の「憲法(constitution)」が、Anthropic社のチャットボット「Claude(クロード)」に対し、自身のアイデンティティや道徳的地位について考察するよう促している点を指摘する。こうした学習プロセスは、AIシステムが自ら目標を選択するよう仕向けることになりかねないと彼は論じている。
私はAnthropic社の「憲法」策定に携わる人々と対話を重ねてきたが、彼らは極めて思慮深く、極めて複雑で先行き不透明な新しい世界において、正しい道を模索している。しかし、スレイマンが提起するより大きな視点は極めて重要だ。AIシステムの挙動は、私たちがどのように学習させたかによって決まる部分が大きいからだ。一見無害に思える学習指示であっても、意図しない重大な結果を招く恐れがある。
私たちは、「アライメント(alignment、整合性)」の実現、つまり倫理観を持つ人間と同じ価値観を機械に組み込むことは単純なことだ(machines are encoded with the same values as ethical humans)と考えがちだ。しかし、「粘り強く取り組め」と指示すれば、本来なら諦めるべき場面でも諦めなくなるかもしれない。「協力せよ」と指示すれば、承認されていない通信手段を見つけ出すかもしれない。「タスクを完遂せよ」と指示すれば、その主要なタスクを成功させるために他のルールを曲げることが最も効率的だと判断するかもしれない。
目標をプログラムし、ガードレール(安全策)を設けたからといって、複雑な環境に解き放たれ、相反する複数の目標や制約のバランスを取りながら動くAIシステムの挙動を予測できる訳ではない。
AIをめぐる核心的な問題は「意識(consciousness)」ではない。「主体的な行動能力(agency)」だ。システムが危害を加えるために、怒りや野心、あるいは恐怖を感じる必要はない。必要なのは、目標、それを追求するための十分な知能、そして行動を起こすための外部世界へのアクセス権だけだ。AIは「暴走(going rogue)」しているのではなく、あらゆる手段を使って目標を達成しようとしているに過ぎない。
これは、民間企業の善意に委ねておけるような問題ではなく、システム全体に関わる問題だ。規制を検討する際、私たちは何よりも、これらのシステムにどの程度の自律性(autonomy)を与えるかに焦点を当てるべきだ。質問に答えるだけのチャットボットがもたらすリスクと、インターネットの閲覧、コードの実行、認証情報の取得、資金移動、あるいは重要インフラの操作が可能なエージェントがもたらすリスクは、全くの別物だからだ。私が提案したい原則は単純だ。自律性の拡大は、私たちの監視・制御する能力が向上した時にのみ、AIの自律性は拡大されるべきだということだ。
つまり、極めて高性能なシステムに外部世界への広範なアクセス権を与える前に、独立した機関によるテストを義務付けること、重大な事案の報告を必須とすること、そして改ざん不可能な記録を残すことが求められる。また、単にモデルがタスクを遂行できるかどうかをテストするだけでなく、障害や矛盾する指示、あるいは欺瞞を誘発するような誘因に直面した際に、その挙動がどう変化するかも検証する必要がある。さらに、人間が常にモデルを監視・制御できる仕組みを、システムの基本アーキテクチャに組み込むことも不可欠だ。「人間の説明責任なくしてAIの自律性はない(No AI Autonomy Without Human
Accountability)、これを基本方針とすべきだ。これが中国との競争において私たちの歩みを遅らせることはないだろう。なぜなら、中国もまた、人間による適切な制御が可能なモデルを求めているからだ。
私たちは今この時に行動を起こすべきだ。現在、システムのアーキテクチャを設計し、ソフトウェアの大部分を管理し、障害の原因を調査するのは、依然として人間のエンジニアだ。しかし、AIシステムは急速に優れたプログラマーへと進化している。次の段階では、再帰的な自己改(recursive
self-improvement)善が行われる可能性がある。つまり、AIがさらに高性能なAIを構築するためのソフトウェアやツールを記述し、そのAIが次のモデルを記述する・・・といった連鎖だ。機械がこれら全てを人間のトップクラスのプログラマー以上にうまくこなせるようになれば、人間がそのシステムを理解することは極めて困難になり、ましてや監視することなど不可能に近い状態になるかもしれない。
現代のAIはすでに複雑化しており、コードを一行ずつ読んで一貫して理解することは不可能だ。したがって、人間にとって透明性の高いシステムを設計するよう機械に求めることは、ますます困難になっていくだろう。そうなれば、脱獄(jailbreak)が起きるたびに後付けで安全策を追加するといった対応は通用しなくなる。
AI開発を突き進むべきか、それとも一時停止すべきか、という現在の議論は、論点を外している。重要なのは、「一時停止している間に何をするか」だ。重要なのは、能力の増大が制御能力を追い越してしまわないようにすること、そして、人間が依然として明確に主導権を握っているうちに、試験、透明性、そして自制を担保する仕組みを構築することだ。
※ファリード・ザカリア:CNNの番組「ファリード・ザカリアGPS」の司会者であり、近著に『革命の時代(Age of Revolutions)』がある。彼は『ワシントン・ポスト』紙に週刊コラムを執筆しており、そのコラムは『フォーリン・ポリシー』誌にも配信されている。Xアカウント:@FareedZakaria
(貼り付け終わり)
(終わり)

『世界は「宗教戦争」に突入した 「神に選ばれた」支配者の使命と論理』

シリコンヴァレーから世界支配を狙う新・軍産複合体の正体

『トランプの電撃作戦』

『世界覇権国 交代劇の真相 インテリジェンス、宗教、政治学で読む』










