WWDCが近づく中、Appleの研究者はAIが推論能力を持っているという主張に異議を唱えている

WWDCが近づく中、Appleの研究者はAIが推論能力を持つという主張に異議を唱えている | AppleキーボードのレンダリングにAIキー

Apple は実際にリリースした AI 機能の面では遅れをとっているものの、同社の研究者たちは最先端の技術の開発に取り組み続けている。

新たな論文の中で、最新のAIモデルの一部は段階的な推論が可能であるという主張に異議を唱えている。Appleは、自社のテストでこれが全くの誤りであることが示されたと述べている。

従来の生成AIモデル、いわゆる大規模言語モデル（LLM）には推論能力がないことは周知の事実ですが、一部のAI企業は、新世代のモデルには推論能力があると主張しています。これらは大規模推論モデル（LRM）と呼ばれています。

これらは、法学修士（LLM）に「作業内容を示す」、つまり結論に至るまでの個々のステップを明示させようとする試みから生まれたものです。AIに思考の連鎖を強制的に構築させ、物事を一歩ずつ進めることができれば、AIが主張を完全に捏造したり、途中で脱線したりすることを防げるという考え方です。

このアプローチには大きな主張がいくつかなされていますが、Appleの新しい研究論文ではこれを「思考の錯覚」と呼んでいます。論文によると、様々なLRMをテストした結果、ハノイの塔パズルのようにアルゴリズム的に解くのが簡単な比較的単純な論理問題でさえ、その「推論」はすぐに崩壊してしまうことが示されたとのことです。

ハノイの塔は、3つのペグと、最初のペグにサイズ順に（一番大きいものから一番下）積み重ねられたn枚の異なるサイズのディスクで構成されるパズルです。最初のペグから3番目のペグへ、すべてのディスクを移すことが目的です。有効な動きは、一度に1枚のディスクだけを動かす、ペグから一番上のディスクだけを取る、そして
大きいディスクを小さいディスクの上に置かない、などです。

ディスクの数を変えることで、よりシンプルなバージョンやより複雑なバージョンのゲームを作成できます。

彼らが発見したのは、パズルの最も単純なバージョンでは LRM は LLM よりも実際には劣っており、ディスクを追加してもわずかに改善されるものの劇的に改善されるわけではなく、ディスクが 8 枚を超えると完全に機能しなくなるという点です。

単純な問題 (N = 1-3) では、時間の経過とともに初期の精度が低下し (考えすぎ)、中程度の問題 (N = 4-7) では推論を続けることで精度がわずかに向上し、複雑な問題 (N ≥ 8) では一貫して精度がほぼゼロとなり、完全な推論の失敗を示します。つまり、モデルが思考内で正しい解決策を生成できないことを意味します。

実際、LRMは問題解決に必要なアルゴリズムを与えても失敗するということを実証しました。彼らは、これらの発見は最新のAIモデルに関する主張に疑問を投げかけるものだと述べています。

これらの洞察は、LRM 機能に関する一般的な仮定に疑問を投げかけます […] 私たちの調査結果は、現在のモデルの根本的な限界を明らかにしています。つまり、洗練された自己反省メカニズムにもかかわらず、これらのモデルは、特定の複雑さのしきい値を超える一般化可能な推論機能を開発できません。

LRM には推論能力がないと長らく主張してきたニューヨーク大学の心理学および神経科学の名誉教授、ゲイリー・マーカス氏は、この研究は、より多くの能力のある LLM を作ることで最終的に知能が生まれるという希望を超える必要があることを示していると述べた。

LLMが社会を根本的に良い方向へ変革できるAGIへの直接的な道だと考えている人は、自惚れです。だからといって、ニューラルネットワーク分野が死んだとか、ディープラーニングが死んだというわけではありません。LLMはディープラーニングの一形態に過ぎず、他の分野、特にシンボルをより扱いやすい分野が、いずれは発展していくかもしれません。時が経てば分かるでしょう。しかし、このアプローチには限界があり、それは日に日に明らかになっています。