https://indeep.jp/some-signs-of-ai-model-collapse-begin/
＜転載開始＞
AIモデルの崩壊の兆候が彼ら自身から現れ始めている
Some signs of AI model collapse begin to reveal themselves
The Register 2025/05/27
予測：汎用 AI は悪化し始める可能性がある
私は AI をよく使うが、記事を書くためではない。検索に AI を使っている。検索に関しては、AI、特に Perplexity （パープレキシティ / AI チャットボット型の検索エンジン）は Google よりも優れている。
普通の検索は駄目になってしまった。Google が AI に夢中になれば、検索エンジンがまた良くなるかもしれないが、それは疑わしい。
しかし、ここ数ヶ月だけでも、AI を使った検索もどんどんお粗末になっていることに私は気づいた。
特に、市場シェア統計やその他のビジネス数値といったハードデータを検索すると、結果が不適切な情報源から来ることがよくあることに気づいたのだ。
アメリカ証券取引委員会（SEC）が上場企業に義務付けている年次事業財務報告書である 10-K の統計情報ではなく、事業報告書の要約を謳うサイトから得られる数値が出てくるのだ。
こうした情報はある程度実際の情報と似ているが、完全に正確とは言えない。10-K の結果だけが欲しいと指定すればうまくいく。ただ、財務結果だけを求めると、答えは…興味深いものになる。
これはパープレキシティだけの問題ではない。複数の主要な AI 検索ボットでまったく同じ項目での検索をしてみたが、どれも「疑わしい」結果しか返ってこなかった。
ガベージイン・ガベージアウト（「ゴミを入力するとゴミが出力される」というコンピュータ分野の言葉）の世界へようこそ。
AI 業界では、これは、正式には AI モデル崩壊と呼ばれている。AI モデル崩壊とは、自身の出力で学習した AI システムが、徐々に精度、多様性、信頼性を失っていく現象だ。
これは、モデル世代が進むにつれてエラーが蓄積され、歪んだデータ分布と「回復不可能な欠陥」につながることで発生する。
最終的な結果はどうなるだろうか？ 2024年にネイチャー誌に掲載された論文では、「 AI モデルは自身の現実投影によって毒されてしまう」と述べられている。
モデル崩壊は、3つの異なる要因の結果だ。1つ目はエラーの蓄積だ。これは、各モデル世代が以前のバージョンの欠陥を継承・増幅し、出力が元のデータパターンから逸脱する現象だ。次に、テールデータの喪失だ。これは、まれなイベントがトレーニングデータから消去され、最終的には概念全体が曖昧になってしまう現象だ。
最後に、フィードバックループによって狭いパターンが強化され、繰り返しのテキストや偏った推奨が生成される。
私は、AI 企業 Aquant （エイクエント社）の次の表現が気に入っている。
「簡単に言えば、AI が自身の出力に基づいてトレーニングされると、結果が現実から遠ざかる可能性があるということだ」
AI の結果が悪化し始めていると感じているのは私だけではない。金融メディア大手のブルームバーグ・リサーチが最近実施した検索拡張生成 （RAG）に関する調査では、GPT-4o、Claude-3.5-Sonnet、Llama-3-8 B （すべて AI）など、主要な学習モデル11種が 5,000以上の有害なプロンプトを使用した結果、悪い結果を生み出すことが明らかになった。
ご存じない方のために説明すると、 RAG は大規模言語モデル （大量のデータと深層学習技術によって構築された言語モデル）が事前トレーニング済みの知識だけに頼るのではなく、データベース、ドキュメント、社内のライブデータストアなどの外部知識ストアから情報を取得できるようにする。
RAG はより良い結果をもたらすと普通は考えるだろう。実際、その通りだ。例えば、AI による幻覚を軽減する傾向がある。
しかし同時に、RAG 対応の大規模言語モデルが、顧客の個人情報を漏洩したり、誤解を招く市場分析を行ったり、偏った投資アドバイスを行ったりする可能性が高まるのだ。
ブルームバーグの CTO オフィスで AI 戦略・研究部門の責任者を務めるアマンダ・ステント氏は、次のように説明している。
「顧客サポートエージェントや質問応答システムといった AI アプリケーションにおいて RAG が広く利用されていることを考えると、この直感に反する発見は広範囲にわたる影響を及ぼす。平均的なインターネットユーザーは、RAG ベースのシステムを日常的に利用している。AI の実践者は、RAG を責任を持って使用する方法について慎重に考える必要がある」
聞こえはいいが、「責任ある AI ユーザー」というのは矛盾している。 AI がより良い仕事にもっと時間を費やすよう促すというくだらない主張はさておき、AI ユーザーは嘘の結果を含む偽の文章を書いているというのが真実だ。
子どもの高校のレポートから偽の科学研究文書、そして悪名高いシカゴ・サンタイムズの夏のおすすめ特集（実際には存在しない近刊小説が掲載されていた）まで、実に多岐にわたる。
これらすべては、AIが 無価値になる日を早めるだけだ。
例えば、偽小説の一つである「ミン・ジン・リーの近刊小説『 Nightshade Market 』のあらすじは？」と ChatGPT に尋ねたところ、ChatGPT は自信満々にこう答えた。
「ミン・ジン・リーの近刊小説『 Nightshade Market 』のあらすじについては、公開されている情報はありません。小説自体は発表されていますが、ストーリーの詳細は明らかにされていません」
もう一度、そして感情を込めて、ガベージイン・ガベージアウト。
一部の研究者は、合成データと人間が生成した新鮮なコンテンツを混ぜることで、崩壊を緩和できると主張している。
なんとも素敵なアイデアだが、その人間が生成したコンテンツは一体どこから来るのだろうか？
制作に真剣な努力と研究を要する良質なコンテンツと、AI が生み出した安っぽいコンテンツのどちらかを選ばなければならないとしたら、ほとんどの人がどうするかは分かっている。
ジョン・スタインベック（20世紀の米国の作家）の『真珠』の読書感想文で落第点を取りたい子どもなど、そうはいない。企業は業務効率化に熱心だと言いながら、実際には利益を増やすために従業員を解雇したいと思っているだけだ。
私たちは、モデルの崩壊が深刻化し、AI の回答が非常に悪く、脳死状態の CEO でも無視できなくなるまで、AI にますます投資していくのだろう。
（AI モデルの崩壊まで）どれくらいかかるだろうか？
すでに起こりつつあるように思うが、今のところそれを予測しているのは私だけのようだ。
とはいえ、OpenAI のリーダーであり応援団長でもあるサム・アルトマン氏が 2024年2月に「 OpenAI は現在、1日に約 1000億語を生成している」とツイートしたことを信じるなら、そしてそれらの単語の多くが最終的にオンラインに公開されると仮定すれば、（AI モデルの崩壊までは）そう長くはかからないだろう。
（中略）
意識と見識の均一化
AI モデルが崩壊する頃には、社会的にさまざまな混乱が起きるのかもしれないですが（最近、各国で大規模な停電が起きているような事態を含む）、それ以前に、AI の登場によって、
「人間のほうがあまり考えなくなってきている」
こともあります。
特に子どもや若い人たちでは、「思考を AI に丸投げしている」人も結構いるのかもしれません。
たとえば、先ほどの記事に「読書感想文」というようなものが出てきていましたが、試しにヘミングウェイの『老人と海』について、
「老人と海 読書感想文」
と検索すると、一発で Google の AI が以下のように回答しました。
「老人と海」を読んで、人間の尊厳と自然への畏敬の念、そして諦めない精神について深く考えさせられました。老漁師サンティアゴの、巨大なメカジキとの闘いは、単なる魚との闘いではなく、人生の試練との闘いとして捉えることができます。 Google AI
その他にも「感想文に入れるべきポイント」も数多く指南してくれていました。
夏休みの読書感想文などで、「全員同じ読書感想文」となったりすると、話としては面白いですが、いろいろと深刻ですね。
この『老人と海』は、小学生のときだったか中学生のときだったか、夏休みか冬休みの課題図書として、「自由感想文」というものを提出したことがあります。
以前、ブログかメルマガで書いたこともありますが…あ、7年前のメルマガ 19号にありました。
おおむね、以下のような感じで書きました。主人公の老漁師が船の上で、ナマでウナギを食べて、「まずい」とか呟いていたシーンに反応したのでした。
オカ氏の小学生時代の感想文より
ウナギは蒲焼きで食べたほうがいいと思います。材料や道具の問題もあるので、一概にこの老人を責めるつもりはないですが、ウナギをナマで塩で食べるというのは、ちょっといただけないです。しかし、ぼく自身はまだウナギの蒲焼きというものを食べたことがないので、たくさんウナギの蒲焼きを食べられる大人になりたいです。
その後も延々とウナギやサバの塩焼きなどの話を書き、先生から「ダメだな、これは」と言われました。
まあしかし、子どもというのは、このように自由でいいんだと思います。
AI は、読書感想文でウナギには言及しないはずです。
何の話だかわからなくなってきていますが、AI の問題は実際には人間の問題でもあり、以前、「問題は AI の人間化ではなく、均質化された意識に基づく人間の機械化」という記事を書いたことがありますが、子どもたちの意識も見識も何もかもみんな同じになることがこわいです。
それでも、世の AI 賞賛はまだ続いていくのだと思いますけれど。
コメント