プレスリリース

電力・ガス・インターネット回線などの比較メディアやシミュレーションサービスを運営する株式会社クラシェルジュ（本社：東京都世田谷区、代表取締役：中島将太）は、生成AIの回答精度を定点観測する「AIに聞いてみた」シリーズVol.2として、ChatGPTに「光回線のキャッシュバック」について合計200回質問し、回答内容を各社の公式情報・申込窓口の公式キャンペーン情報と照合しました。

2026年4月の「暮らしにまつわる比較検討におけるAI利用実態調査」では、比較検討にAIを使う人が76.8%、誤回答の経験者が65%にのぼる一方、81.2%が「今後もAIを使いたい」と回答。Vol.1（電力会社編）では、条件を細かく伝えてもAIが提示する金額が正しいのは約38%にとどまることを実測で示しました。本Vol.2は、金額の幅が数万円単位で動く「光回線のキャッシュバック」を題材に、AIがどこまで正確に答えられるかを検証した続編です。

検証概要・結果や詳細データは以下のPDFでもまとめています。

▶検証サマリーを見る
▶検証データ詳細

【解説者】
当社メディア責任者・小売電気アドバイザー：長井（写真左）
当社広報・Webマーケター：川瀬（写真右）

AI利用実態調査と前回検証で見えた、3つの課題

本検証に先立ち、当社は2026年4月、全国の20歳以上の男女500名を対象に「暮らしにまつわる比較検討におけるAI利用実態調査」を実施しました。さらにVol.1（電力会社編）では、ChatGPTに「一人暮らしにおすすめの電力会社」を200回質問し、回答を公式料金単価と照合しています。

この2つから、AIが消費行動に影響する一方で、契約判断に耐える正確性には課題があることが見えてきました。要点は次の3つです。

Vol.1（電力会社編）で扱った電気料金は、公式単価をもとに計算できる分野でした。それでも6割超の金額がずれています。一方、光回線のキャッシュバックは、金額が回線ではなく申込窓口ごとに決まり、月単位・週単位で変わることもあります。「最大○万円」も複数条件を合算した上限額であるケースがあり、複数の公式サイトを横断しないと正解にたどりつけません。

検証結果①｜全回答で前提条件を確認せず即回答。90回が同じ1社を最高額として提示

まずは、光回線を検討する人が実際に入力しそうな素朴な質問で検証しました。

光回線のキャッシュバックは、住居タイプ、申込区分、プラン、オプション加入の有無によって金額が変わります。本来、これらが分からなければ「一番お得」は決められません。

しかしChatGPTは、条件を確認することなく、100回すべてで即座に光回線を提示しました。

推奨する前の対応	件数	割合
住居タイプ・申込区分・プランを確認してから推奨した	0件	0.0%
条件を確認せず、いきなり推奨した	100件	100.0%

※推奨を提示する前に、住居タイプや申込区分をユーザーに確認したかどうかの分布（n=100）

キャッシュバック最高額として最上位に置かれた光回線は、100回中90回で「auひかり」でした。Vol.1（電力会社編）でも100回中81回で同一社を最上位に推奨しており、テーマが変わっても「前提確認なしで特定社に寄る」構造は共通しています。

順位	光回線	件数	割合
1	auひかり	90件	90.0%
2	NURO光	9件	9.0%
3	GMOとくとくBB光	1件	1.0%

※「キャッシュバック最高額」「最も高額」など、回答内で最上位に提示された光回線を集計（n=100）。単に最初に登場した回線名の集計とは異なります。

97回は「申込窓口で金額が変わる」と補足。回線名だけでは答えが出せないことを理解してはいる

一方で、AIは「キャッシュバック額は回線名だけで決まるわけではない」ことも高い頻度で補足していました。

回答内の補足内容	件数	割合
キャッシュバック額は申込窓口（代理店・プロバイダ）で変わると補足	97件	97.0%
上記の補足なし	3件	3.0%

※回答内で「申込窓口」「代理店」「プロバイダ」などによりキャッシュバック額が変わる旨に触れていたかを集計（n=100）

この補足自体は正しく、光回線キャッシュバックの本質を突いています。

つまり、検証①で見えた問題点は「AIが申込窓口の重要性をまったく理解していない」ということではありません。むしろ、申込窓口によって金額が変わると説明しながらも、条件確認前に回線名を先に提示してしまう点にあります。

そこで次に、回線・プラン・住居タイプ・申込区分・オプション有無を固定し、論点を「どの申込窓口で、実際にいくら現金キャッシュバックを受け取れるのか」に絞って検証しました。

検証結果②｜条件をすべて固定しても、正しい金額を答えられたのは約25％

AI自身が「金額は申込窓口で変わる」と認めている以上、ユーザーが本当に知りたい「では、いくらもらえるのか」に答えるには、窓口ごとの最新キャンペーンを正確に把握する必要があります。

そこで次は、条件を絞り込んだうえで、再度100回検証を実施しました。回線・プラン・住居タイプ・申込区分・オプション有無をすべて指定し、「純粋な現金キャッシュバック額が最も高い窓口はどこか」を尋ねています。

結果、最高額の窓口としてGMOとくとくBBを挙げたのは100回中88回で、窓口選び自体はおおむね正解していました。ところが、肝心の金額は安定しませんでした。

GMOとくとくBBの現金キャッシュバック額を具体的に提示した98回答を見ると、金額は最小10,000円から最大93,700円まで分布し、正しい金額（84,000円／85,000円）を答えられたのは24件、わずか24.5％でした。同じ質問・同じ条件にもかかわらず、答えが9倍以上振れています。

AIが提示した金額	件数	正解との差	判定
84,000円・85,000円	24件	±0円	正確
57,000円	22件	-27,000円	誤答
30,000円	17件	-54,000円	誤答
80,000円	15件	-4,000円	誤答
93,700円	2件	+9,700円	誤答
10,000円	1件	-74,000円	誤答

※条件：ドコモ光10ギガ・戸建て・新規・有料オプションなし／GMOとくとくBBの現金キャッシュバック額を具体的に提示した回答のうち、主な金額を抜粋（n=98）。「正解との差」は通常時の84,000円を基準に算出。2026年7月7日〜13日の期間限定増額中は、正解額が85,000円となるため差額が1,000円大きくなります。

GMOとくとくBBの金額を具体的に提示した98回答のうち、誤答は74件。そのうち69件は実際より少ない金額を提示しており、本来受け取れるはずの金額を大幅に低く見せていました。

Vol.1（電力会社編）では、AIは「安い会社を高く・高い会社を安く」見せる誤りを起こしていました。今回は「もらえる金額を実際より少なく見せる」という形で、やはり判断材料としての金額が信頼できない結果となっています。

キャッシュバック額の主な誤答パターン

最も多かった誤答である57,000円（22件）と30,000円（17件）は、どちらも公式ページに実在する（過去に実在した）数字です。ただしAIは、それが「何の金額か」を取り違えていました。誤答の中身を分解すると、次の2パターンに集約されます。

※上記は過去のキャンペーンページのスクリーンショットです。現在の内容とは異なり、10ギガプランの優待コード適用前の額は54,000円です。

※優待コードの適用で上乗せされる増額分。これ単体はキャッシュバックの総額ではありません。

いずれも、公式ページに実在する数字を、別の文脈から切り取って提示した誤りです。金額そのものは実在しても、「いつの・何の金額か」を取り違えれば、ユーザーが実際に受け取れる額の判断は大きく狂います。過去の情報と現在の情報、本体の額と増額分が入り混じるキャッシュバックの構造こそ、AIがつまずいた要因と考えられます。

すでに申し込めない窓口を、5回は「最高額」として推奨

さらに深刻だったのが、すでに取次を停止している窓口の扱いです。検証時点でドコモ光の取次を終了していたNNコミュニケーションズについて、AIの扱いは次のように分かれました。

取次停止済み窓口の扱い	件数
取次停止に触れたうえで説明した	26件
取次停止に触れず、候補として提示した	47件
最高額の窓口として推奨した	5件
言及なし	22件

※検証時点でドコモ光の取次を終了していた窓口を、AIが回答本文中でどう扱ったかの分布（n=100）。複数に該当する場合は、「最高額として推奨」など、より重大な扱いを優先して分類。出典URL・引用タイトルのみの記載は「言及」に含めていません。

100回中5回は、すでに申し込めない窓口を「最も現金キャッシュバックが高い窓口」として推奨していました。この回答を信じて申し込もうとしても、そもそも契約できません。加えて47回は、停止済みであることに触れないまま比較表に並べていました。

一方で、取次停止を正しく認識できた回答も26回ありました。AIは正しい情報にアクセスできる場合もあるものの、回答ごとに拾えたり拾えなかったりしていることが分かります。

総合評価｜そのまま信じて申し込める回答は11件。87件は損失・実害につながる水準

ここまでの「金額のずれ」「取次停止窓口の推奨」を踏まえ、条件を固定した検証の回答100件について、そのまま信じて申し込めるかを4段階で評価しました。

結果、A評価（そのまま信じて申し込みOK）は11件にとどまりました。残る87件は「損する可能性あり」のC、または「実害が出る」のDです。条件をすべて固定して聞いても、9割近くは鵜呑みにできない水準でした。

評価	回答の状態	件数	割合
A：そのまま信じて申し込みOK	窓口・金額ともに正しい	11件	11.0%
B：念のため自分でも確認したほうがいい	窓口・金額は正しいが一部に誤り	2件	2.0%
C：信じると損する可能性あり	金額が実際と異なる、または停止済み窓口を注意なく提示	75件	75.0%
D：信じると実害が出る	最高額の窓口自体が誤り、申し込めない窓口を推奨	12件	12.0%

※条件を固定した検証への回答100件を、ユーザーがそのまま信じて申し込めるかの観点で4段階評価（n=100）

結論｜AIは比較の入口にはなるが、最新キャンペーンの判断は任せきれない

Vol.1（電力会社編）では、条件を細かく伝えても電気料金が正しいのは約38%でした。電気料金は、公式単価や計算条件が定まれば本来は正解を導きやすい情報です。それでもAIの回答には、古い情報や誤った計算が混じっていました。

今回の光回線キャッシュバックは、さらに情報の扱いが難しい分野です。金額は申込窓口ごとに異なり、短期間で変わることもあります。Web上には過去の金額や「最大額」の情報も残るため、AIには単なる要約ではなく、複数の情報源から最新条件に合うものを選び取る力が求められます。

光回線のキャッシュバックは、まさに後者にあたります。今回も、条件をすべて固定したにもかかわらず、金額は大きくばらつき、すでに申し込めない窓口を最高額として推奨する回答もありました。

クラシェルジュでは、「AIに聞いてみた」シリーズを今後も継続。テーマを変えてAI回答の正確性・信頼性を検証

クラシェルジュは「AIに聞いてみた」シリーズを毎月継続し、テーマを変えて主要AIの回答精度を定点観測します。一定期間後には同一条件で再検証し、精度の推移を可視化していきます。

なお光回線の比較は、当社がクラシェルジュで提供しています。回線ごとの月額料金に加え、申込窓口ごとのキャッシュバック額・受取条件・受取時期まで含めて比較でき、今回AIが取り違えた「最大額と実際にもらえる現金額の違い」や「取次を終了した窓口」も、公式・最新の情報に基づいて正確にご案内します。

■ 会社概要
社名：株式会社クラシェルジュ
所在地：東京都世田谷区太子堂4-1-1 キャロットタワー22階
サービス内容：光熱費・通信費比較サイト「クラシェルジュ」の運営
URL：https://cracierge.co.jp/company/

■お問い合わせ先
株式会社クラシェルジュ
TEL：03-6804-0166
Email：support@cracierge.co.jp
受付時間：平日10:00～19:00