“AIの誤回答 vs でっち上げ: テクノロジーの誤解を解き明かす”

プロンプト入力を試行錯誤でき、前提条件を工夫しても、AIでは誤回答がよく現れます。

AIによるでっち上げられた回答を無くすための動きを調べました。

AIによるでっち上げ「幻覚」

「幻覚」とは、人工知能が学習したデータからは正当化できないはずの回答を堂々とする現象です。

例えば、テスラの収益に関する知識がないチャットボットが、もっともらしいと判断したランダムな数字（130.6億ドルのような）を内部的にピックアップして、間違っているにもかかわらずテスラの収益は130.6億ドルだと繰り返すようになることがあります。

幻覚をなくすために

人工知能の幻覚を軽減するために、様々な手法が提案されています。

プロセス監視（process supervision）

OpenAIは、LLMの数学的推論能力を向上させるために、推論の各ステップに報酬を与える「プロセス監視」という手法を提案しています。

プロセス監視は、LLMが行う推論の途中経過をチェックして、正しいステップにフィードバックを与えることで、幻覚を検出するような報酬モデルをトレーニングする方法です。プロセス監視は、LLMの最終結果に基づいてフィードバックを与える「結果監視」と比べて、より効率的に数学問題の成績を改善することができます。

OpenAIは、プロセス監視を用いて、数学の問題を解く大規模言語モデルの成績を改善することに成功しました。（元サイト / Gigazineの翻訳ページ）MATHデータセットの代表的なサブセットの問題の78%を解決することができました。また、数学以外の分野においても、プロセス監視の影響を調査することが今後の研究にとって重要だと述べています。

結果監視（outcome supervision）

結果監視はプロセス監視よりもデータや計算量の面で効率的であるという利点があります

結果監視とは、人工知能が行う推論や計算の最終的な正解に報酬を与えることで、数学的推論能力や他の領域の能力を向上させることを目的とした手法です。結果監視は、人工知能が正しい回答を出すことに焦点を当てることで、効率的に学習することができます。

ローコードLLM

Metaは、LLMの幻覚を低減するために、「ローコードLLM」という手法を開発しています。

ローコードLLMとは、人間と大規模言語モデル（LLM）との効率的なコラボレーションを実現するための手法です。

• データソースの指定：LLMに対して、どのようなデータソースから情報を取得するかを指定することができます。例えば、Wikipediaやニュースサイトなどの信頼できるデータソースを優先的に使用するように指示することができます。
• プロンプトの修正：LLMに対して、どのようなプロンプト（質問や入力）を与えるかを修正することができます。例えば、プロンプトに明確な条件や制約を加えることで、LLMが曖昧な回答を生成することを防ぐことができます。
• フィードバックの提供：LLMに対して、生成した回答の正確さや信頼性に関するフィードバックを提供することができます。例えば、回答に含まれる事実や根拠を確認したり、回答に対する評価やコメントを与えたりすることができます。

ローコードLLMの仕組みは以下の通り。

1. ユーザーによる要件の入力します。
2. Planning LLM（計画LLM）がユーザーの要件に基づきフローチャートを作成。（フローチャートは、言語モデルが実行するタスクのロジックやワークフローを表す）
3.  ユーザーはフローチャートを編集し、修正することができる。言語モデルの動作をより緻密に制御することができる。
4.  最後に、Executing LLM（実行LLM）が、ユーザーが編集したフローチャートに従いタスクを実行。期待される結果を生成します。

このフレームワークのメリットは、ユーザーが言語モデルと直感的にやり取りすることで、生成される出力に対してより強力な制御を持つことができる点です。

以上が、人工知能の幻覚に関する最新情報です。幻覚は、人工知能の課題となっていますが、様々な手法が提案されており、今後も研究が進められるでしょう。