AIが生成する文章の25%は引用に裏付けられていない

2023年4月の論文「生成検索エンジンにおける検証可能性の評価」

https://arxiv.org/abs/2304.09848

によりますと

AIによる生成検索エンジンが信頼できる前提条件はすべての文章が引用によって裏付けられている必要があります。

(中略)

ほぼ50%が完全に引用で裏付けられており、75%が引用に基づいていました。

とのことです。

75%は引用で検証可能ということは残り25%は引用に裏付けられていないということになります。

25%のエラーというのは相当高い頻度で、たとえばOCRの文字認識率が99%で間違い1%でも精度が低いなどと批判される世界ですから25%はもう論外レベルでしょう。

ただし、ChatGPTの場合は会話を楽しもう的な要素もあり会話的な言い回しも含まれています。

たとえば以下のような2つの文章を生成したとき

・富士山は、標高3,776メートルの活火山です。(検証可能)

・訪れる人々にとって富士山は一生の思い出となることでしょう。(会話的な内容なので引用の必要がない)

半分は検証不可能ということになります。

それでもChatGPTは珍回答が多くて完全に間違いという文章も平気で出してくるので要注意です。

まあ、そのことについてはChatGPTの最初の画面にかかれていますが。

いまはテスト段階ということでこれから精度もあがっていくでしょう。

原文

Evaluating Verifiability in Generative Search Engines

Generative search engines directly generate responses to user queries, along with in-line citations. A prerequisite trait of a trustworthy generative search engine is verifiability, i.e., systems should cite comprehensively (high citation recall; all statements are fully supported by citations) and accurately (high citation precision; every cite supports its associated statement). We conduct human evaluation to audit four popular generative search engines — Bing Chat, NeevaAI, this http URL, and YouChat — across a diverse set of queries from a variety of sources (e.g., historical Google user queries, dynamically-collected open-ended questions on Reddit, etc.). We find that responses from existing generative search engines are fluent and appear informative, but frequently contain unsupported statements and inaccurate citations: on average, a mere 51.5% of generated sentences are fully supported by citations and only 74.5% of citations support their associated sentence. We believe that these results are concerningly low for systems that may serve as a primary tool for information-seeking users, especially given their facade of trustworthiness. We hope that our results further motivate the development of trustworthy generative search engines and help researchers and users better understand the shortcomings of existing commercial systems.

https://arxiv.org/abs/2304.09848