検証可能性(Verifiability)

以下はhttps://karpathy.bearblog.dev/verifiability/の翻訳です。


AIは、電気、産業革命など、様々な歴史的先行例と比較されてきましたが、私は、AIが新しいコンピューティングパラダイムであるというアナロジー(類推)が最も強力だと考えます。なぜなら、どちらも根本的にデジタル情報処理の自動化に関するものだからです。

もしあなたが1980年代頃にコンピューティングが雇用市場に与える影響を予測するとしたら、タスクや仕事について見るべき最も予測性の高い特徴は特定可能性(specifiability)でしょう。つまり、そのタスクは、機械的に情報を定型的な、特定しやすいアルゴリズムに従って変換するだけなのか(例:タイピング、簿記、人間による計算など)?当時は、これがその時代のコンピューティング能力によって手書きで書くことができたプログラムのクラスでした。私は手書きのプログラムを「ソフトウェア1.0」と呼んでいます。

さて、現在のAIでは、以前は手書きで書くことを望めなかった新しいプログラムを書くことができます。私たちは目的(例:分類精度、報酬関数)を指定し、勾配降下法を介してプログラム空間を探索し、その目的に対してうまく機能するニューラルネットワークを見つけます。これは、以前に書いた私の「ソフトウェア2.0」ブログ記事の内容です。

この新しいプログラミングパラダイムにおいて、次に注目すべき最も予測性の高い特徴は、検証可能性(verifiability)です。タスクや仕事が検証可能であれば、それは直接的または強化学習を介して最適化可能であり、極めて高い性能を発揮するニューラルネットワークを訓練することができます。これは、AIが何かを「練習」できる程度に関係しています。その環境は次の要件を満たす必要があります。

  • リセット可能である(新しい試みを開始できる)。
  • 効率的である(多くの試行が可能である)。
  • 報酬付与可能である(行われた特定の試行に報酬を与える自動化されたプロセスがある)。

タスクや仕事が検証可能であればあるほど、新しいプログラミングパラダイムでの自動化に適しています。検証不可能であれば、それはニューラルネットワークの魔法の一般化に頼るしかないか、または模倣のような弱い手段に頼るしかありません。これが、LLM(大規模言語モデル)の進歩における「ギザギザな」フロンティアを推進しているものです。検証可能なタスクは急速に進歩し、場合によってはトップエキスパートの能力を超えて進展しますが(例:数学、コード、動画の視聴時間、正しい答えがあるパズルのようなもの)、他の多くのタスクはそれに比べて遅れをとっています(クリエイティブ、戦略的、実世界の知識、状態、コンテキスト、常識を組み合わせるタスクなど)。

ソフトウェア1.0は、特定できるものを容易に自動化します。

ソフトウェア2.0は、検証できるものを容易に自動化します。

免責事項

記事は、一般的な情報提供のみを目的としてのみ作成したものであり、投資家に対する有価証券の売買の推奨や勧誘を目的としたものではありません。また、記事は信頼できると判断した資料およびデータ等により作成しておりますが、その正確性および完全性について保証するものではありません。また、将来の投資成果や市場環境も保証されません。最終的な投資決定は、投資家ご自身の判断でなされますようお願いします。

Ads Blocker Image Powered by Code Help Pro

Ads Blocker Detected!!!

We have detected that you are using extensions to block ads. Please support us by disabling these ads blocker.

タイトルとURLをコピーしました