はじめに
生成AIは、調査、要約、分類、資料作成、レポート作成を効率化する手段として、ビジネス現場でも広く使われ始めています。
市場調査の要約、顧客アンケートの分類、問い合わせ内容の整理、競合情報の比較、営業資料の下書きなど、生成AIを使うことで作業時間を短縮できる場面は多くあります。
一方で、生成AIを使った分析やレポート作成には、見落とされやすいリスクもあります。
その一つが、都合のよい結果だけを選んでしまう問題です。
たとえば、生成AIに同じデータを何度も分類させ、営業資料に使いやすい分類結果だけを採用する。市場調査レポートを複数回生成し、自社サービスに有利な結論だけを使う。プロンプトを少しずつ変えながら、期待する示唆が出るまで試行を繰り返す。
このような行為は、従来の統計分析で問題視されてきた p-hacking と似た構造を持っています。
本記事では、p-hackingとは何か、生成AI活用によってどのような分析リスクが生じるのかを、論文ベースで整理します。
なお、本記事の目的は、生成AIの利用を否定することではありません。生成AIを業務で使う際に、分析結果やレポートの信頼性をどのように確認すべきかを考えることです。
p-hackingとは何か
p-hackingとは、一般に分析条件やデータの扱い、報告内容を柔軟に変えながら、統計的に有意な結果や都合のよい結果を探してしまう問題を指します。
従来の統計分析では、p値が一定の基準を下回ると「統計的に有意」と判断されることがあります。
しかし、分析者が次のような選択を後から何度も変えられる場合、偶然に有意な結果が見つかる可能性が高まります。
- 分析対象期間を変える
- 対象者の一部だけを見る
- 外れ値を除外する
- いくつもの指標を試す
- 複数の分析方法を試す
- 有意だった結果だけを報告する
このように、データ収集、分析、報告における未開示の柔軟性が、偽陽性の結果を大きく増やし得ることが報告されています（Simmons et al., 2011）。ここでいう偽陽性とは、本来は効果がないにもかかわらず、効果があるように見えてしまう結果です。
p-hackingは、必ずしも悪意のある不正だけを意味しません。
分析者が「こちらの条件の方が自然だろう」「この外れ値は除いてよいだろう」「この切り口の方が説明しやすいだろう」と判断を重ねるうちに、結果として都合のよい結論だけが残ることがあります。
この点は、ビジネスの分析やレポート作成でも重要です。
なぜp-hackingは問題になるのか
p-hackingが問題になる理由は、結果の信頼性を損なうためです。
分析の途中で条件を変え続けると、偶然の結果を本当の傾向のように扱ってしまう可能性があります。
たとえば、キャンペーン効果を確認するとします。
最初に全顧客で見ると効果が小さい。しかし、新規顧客だけで見ると差が大きい。さらに20代だけで見ると有意に見える。キャンペーン後7日間だけを見ると、さらに良い結果に見える。
このように、分析条件を後から変え続けると、どこかで都合のよい結果が見つかることがあります。
また、p-hackingを「非有意な結果が有意になるまでデータや統計分析を選択すること」と説明し、科学文献におけるp値分布を分析してp-hackingの広がりと影響を検討した報告もあります（Head et al., 2015）。
ビジネスでは、p値や有意差を使わない分析も多くあります。しかし、「都合のよい結果だけを採用する」という構造は同じです。
たとえば、次のようなケースです。
| 場面 | 起こり得る問題 |
|---|---|
| 市場調査 | 自社に有利な市場解釈だけを採用する |
| 顧客アンケート | 都合のよい分類軸だけを採用する |
| 広告分析 | 成果がよく見える期間だけを切り出す |
| 営業レポート | 成功要因だけを強調し、不利な条件を記載しない |
| 生成AI要約 | 期待する結論に近い回答だけを残す |
こうした問題は、意思決定の質に影響します。
見かけ上は筋の通ったレポートでも、分析条件や試行回数が記録されていなければ、どの程度信頼してよいか判断しにくくなります。
生成AI活用でp-hackingはどう変わるのか
生成AIの活用によって、p-hackingのリスクは少し形を変えます。
従来のp-hackingでは、分析対象、分析手法、外れ値処理、指標選択などが主な自由度でした。
生成AIを使う場合、そこに新しい自由度が加わります。
| 従来の分析上の自由度 | 生成AI活用で増える自由度 |
|---|---|
| 分析対象期間 | プロンプトの書き方 |
| 対象者の絞り込み | 使用するモデル |
| 外れ値の扱い | 温度などの生成設定 |
| 指標の選択 | 出力形式 |
| 分析手法の選択 | 再試行回数 |
| 報告する結果の選択 | 採用する回答の選択 |
たとえば、顧客アンケートの自由記述を生成AIで分類する場合を考えます。
同じデータでも、プロンプトを「不満点を分類してください」とするか、「購買阻害要因を分類してください」とするか、「営業改善点として分類してください」とするかで、出力される分類軸が変わる可能性があります。
また、モデルを変える、温度を変える、出力形式を変える、何度も再生成する、といった操作によっても結果が変わる場合があります。
LLMをテキストアノテーションに使う際、モデル選択、プロンプト戦略、温度設定などの実装上の選択が出力を変化させ、下流の統計的結論に影響し得るリスクは、「LLM hacking」として報告があります（Baumann et al., 2025）。同研究は、18種類のモデル、37のアノテーションタスク、13百万件のLLMラベルを用いて、LLM由来のラベルが統計的結論に与える影響を分析しています。
このような議論は、研究だけでなく、ビジネスにおける生成AI活用にも示唆があります。
生成AIによる分類や要約を、そのまま分析や意思決定に使う場合、どのプロンプト、どのモデル、どの設定、どの試行結果を使ったのかを記録しないと、結果の再現性や妥当性を確認しにくくなります。
prompt-hacking・LLM hacking・p-hackingの違い
生成AIの文脈では、p-hackingに近い言葉として、prompt-hackingやLLM hackingという表現が使われることがあります。
ただし、用語の使われ方には幅があります。
| 用語 | 主な意味 | ビジネスでの見方 |
|---|---|---|
| p-hacking | 分析条件を柔軟に変え、有意な結果や都合のよい結果を探す問題 | 都合のよい分析結果だけを採用する |
| HARKing | 結果を見た後で仮説を作り、最初から仮説があったように報告する問題 | 生成AIの出力後に、最初から狙っていた示唆のように説明する |
| prompt-hacking | 望む出力が出るようにプロンプトを調整し続ける問題 | 欲しい結論が出るまで聞き方を変える |
| LLM hacking | LLM利用時のモデル・プロンプト・設定選択が下流分析を歪める問題 | AI分類や要約の条件選択が分析結果を変える |
HARKingは、「結果を知った後で立てた仮説を、あたかも事前仮説であったかのように報告すること」と定義されています（Kerr, 1998）。これは、生成AIの分析レポートでも起こり得ます。
たとえば、生成AIで複数の市場仮説を出し、その後に実データを見て都合のよい仮説だけを選び、「当初からこの仮説で分析した」と説明すれば、HARKingに近い構造になります。
また、LLMを研究ワークフローに組み込む際、望ましい出力を得るためにプロンプトを調整し続ける行為を、統計分析におけるp-hackingとの類比で論じている報告もあります（Kosch and Feger, 2025）。同論文は意見論文であり、査読済みの実証研究とは位置づけが異なる点に注意が必要です。
ここで重要なのは、複数のプロンプトや分析条件を試すこと自体が悪いわけではないという点です。
問題は、何を試したのかを記録せず、都合のよい結果だけを採用し、あたかも最初からその結論だったように見せることです。
ビジネスで起きやすい具体例
生成AIを使った顧客アンケート分類
生成AIを使うと、自由記述アンケートを短時間で分類できます。
これは便利ですが、プロンプトや分類軸によって結論が変わる場合があります。
| 試行 | プロンプト | モデル | 温度 | 分類軸 | 結論 |
|---|---|---|---|---|---|
| 1 | 不満点を分類 | Model A | 0.2 | 価格・品質・納期 | 価格不満が多い |
| 2 | 購買阻害要因を分類 | Model A | 0.7 | 価格・導入負荷・サポート | 導入負荷が多い |
| 3 | 営業改善点として分類 | Model B | 0.2 | 説明不足・価格・事例不足 | 事例不足が多い |
| 4 | 経営課題として分類 | Model B | 0.7 | 予算・人材・優先度 | 優先度が低い |
この例では、同じ自由記述データでも、分類の切り口によって結論が変わる可能性があります。
重要なのは、「どのプロンプトを使ったか」「他にどの分類を試したか」「なぜその分類結果を採用したか」を記録することです。
キャンペーン分析で都合のよい条件だけを見る
キャンペーン分析でも、p-hackingに近い問題が起こります。
| 試行 | 分析条件 | 結果 |
|---|---|---|
| 1 | 全期間・全顧客 | 差は小さい |
| 2 | 新規顧客のみ | 差が大きく見える |
| 3 | 20代のみ | 有意に見える |
| 4 | キャンペーン後7日間のみ | 有意に見える |
| 5 | 高単価商品だけ | 有意に見える |
分析条件を後から変え続けると、成果が出ているように見える条件が見つかることがあります。
もちろん、新規顧客や年代別の分析自体が悪いわけではありません。
問題は、全体結果や試行した条件を隠し、成果が出た条件だけを報告することです。
生成AIによる市場調査レポート
生成AIに市場調査レポートの下書きを作らせる場合も注意が必要です。
たとえば、次のような使い方です。
- 自社サービスに有利な市場見通しが出るまで再生成する
- 競合の弱点を強調するプロンプトだけを使う
- 根拠が薄いにもかかわらず、もっともらしい要約を採用する
- 参考文献の妥当性を確認せずに掲載する
- 都合の悪い不確実性を削る
生成AIのレポートは読みやすく整っていることがあります。
しかし、文章が自然であることと、根拠が妥当であることは別です。
生成AIを調査・分析に使う場合は、出力の文章だけでなく、元データ、引用元、プロンプト、採用理由を確認する必要があります。
論文で見るp-hackingの代表例
Simmons et al., 2011
データ収集や分析における柔軟性が、偽陽性を増やすことを示した代表的な論文です。
この論文は、分析者がデータ収集の停止タイミング、説明変数、除外条件などを柔軟に選べる場合、本来よりも有意な結果を示しやすくなることを論じています。
ビジネスに置き換えると、キャンペーン期間、対象顧客、指標、集計方法を後から何度も変え、成果がよく見える結果だけを採用する問題に近いといえます。
Head et al., 2015
科学文献におけるp-hackingの広がりと影響を検討した論文です。
同論文では、p-hackingを「非有意な結果が有意になるまでデータや統計分析を選ぶこと」と説明しています。
ビジネスでは、統計的有意差ではなく、売上増、CVR改善、問い合わせ増などの「説明しやすい成果」が対象になることがあります。
Gelman and Loken, 2013
「garden of forking paths」という表現で、データ分析には多くの分岐があり、明示的な“釣り”や意図的なp-hackingがなくても、多重比較の問題が生じ得ると論じました。
これは、生成AI活用にも当てはまりやすい考え方です。
プロンプト、モデル、温度、出力形式、分析対象、採用する回答など、分岐が多いほど、結果の解釈には注意が必要になります。
LLM hacking関連の研究
LLMをテキストアノテーションに使う際の実装上の選択が、下流の統計的結論に影響するリスクを「LLM hacking」として検討しました（Baumann et al., 2025）。
また、LLMベースの研究では、プロンプト、デコードパラメータ、出力形式などを調整して望ましい結果を得ることが容易であると指摘し、事前登録と将来モデルを使う緩和策を提案しています（Thomas et al., 2026）。
生成AIをビジネスで使う場合、これらの議論をそのまま研究手法として導入する必要はありません。
しかし、「プロンプトやモデル選択が結果を変える可能性がある」「分析前に条件を決め、記録する必要がある」という実務上の示唆は重要です。
生成AI分析レポートのチェックポイント
生成AIを使って調査・分析・レポート作成を行う場合、以下のような項目を確認するとよいでしょう。
| チェック項目 | 確認内容 |
|---|---|
| 分析目的 | 何を判断するための分析か |
| データ範囲 | どの期間・顧客・商品・地域を対象にしたか |
| プロンプト | どの指示文を使ったか |
| モデル | どの生成AI・どのモデルを使ったか |
| 設定 | 温度、出力形式、再試行回数など |
| 試行履歴 | 他にどのプロンプトや条件を試したか |
| 採用理由 | なぜその出力を採用したか |
| 不採用結果 | 採用しなかった結果に重要な示唆はないか |
| 人間レビュー | 専門家・担当者が妥当性を確認したか |
| 限界 | どこまで言えて、どこからは言えないか |
このチェックリストは、生成AIの利用を止めるためのものではありません。
むしろ、生成AIを業務で使いやすくするためのものです。
生成AIを安全に使うには、出力結果だけでなく、その結果に至るまでの過程を記録することが重要です。
p-hackingを防ぐための実務対策
生成AI時代のp-hackingを完全に防ぐことは簡単ではありません。
ただし、実務上のリスクを下げるために、次のような対策が考えられます。
1. 分析目的を事前に決める
まず、何を判断したいのかを明確にします。
「売上が伸びた理由を知りたい」のか、「顧客の不満点を整理したい」のか、「市場参入の判断材料を作りたい」のかによって、使うデータやプロンプトは変わります。
2. データ範囲を記録する
どのデータを使ったのかを記録します。
期間、対象顧客、商品カテゴリ、地域、除外条件などを明確にしておくことで、後から結果を検証しやすくなります。
3. プロンプトとモデルを残す
生成AIを使う場合、プロンプトとモデル名、可能であれば設定も記録します。
プロンプトを少し変えただけで出力が変わることがあるためです。
4. 試した条件を隠さない
複数のプロンプトや分析条件を試すこと自体は問題ではありません。
ただし、採用した結果だけでなく、試した条件や不採用にした理由も記録することが重要です。
5. 人間のレビューを入れる
生成AIの出力は、もっともらしく見えることがあります。
だからこそ、業務知識を持つ人が、前提、根拠、データ範囲、結論の妥当性を確認する必要があります。
6. 結論ではなく、判断材料として扱う
生成AIの分析レポートは、意思決定そのものではなく、意思決定の材料です。
最終的な判断には、データ、現場知見、顧客理解、事業戦略を組み合わせる必要があります。
KAMUSHIRUBEで相談できること
SCI総合研究所株式会社では、技術・DX相談サービスとして、KAMUSHIRUBE を提供しています。
生成AIは、調査、要約、分類、レポート作成を効率化できる一方で、プロンプトやモデルを何度も変えながら、都合のよい結果だけを採用してしまうリスクもあります。
KAMUSHIRUBEでは、たとえば以下のような相談が可能です。
- 生成AIを使った分析・調査・資料作成の進め方を相談したい
- 生成AIの出力をどこまで意思決定に使ってよいか確認したい
- プロンプトや分析条件をどのように記録すべきか相談したい
- 生成AIによるアンケート分類や要約の妥当性を確認したい
- 社内の生成AI活用ルールを整理したい
まずは、現在の生成AI活用状況と分析プロセスを棚卸しすることが重要です。
RASHINRAで支援できること
SCI総合研究所株式会社では、戦略的データ活用・意思決定支援コンサルティングサービスとして、RASHINRA を提供しています。
RASHINRAでは、生成AIを含むデータ分析業務について、目的整理、分析設計、検証プロセス、可視化、レポート化を支援します。
たとえば、以下のような支援が可能です。
- 分析目的の整理
- 利用可能データの棚卸し
- 分析計画の設計
- プロンプト・モデル・条件の記録方針整理
- 生成AI出力の検証方法の整理
- 分析結果の可視化
- レポート化
- 意思決定に使える材料の整理
生成AIを活用した分析では、出力の見た目だけでなく、前提、データ範囲、プロンプト、採用理由を確認することが重要です。
まとめ：生成AI時代こそ、分析前の設計と記録が重要になる
生成AIは、調査、要約、分類、資料作成を効率化する強力な道具です。
一方で、プロンプト、モデル、温度、出力形式、再試行回数などの選択によって、結果が変わることがあります。
そのため、生成AIを使った分析やレポート作成では、従来のp-hackingと似た「都合のよい結果だけを選ぶ」リスクに注意する必要があります。
重要なのは、生成AIを使わないことではありません。
生成AIを使う場合に、次の点を記録し、確認することです。
- 分析目的
- データ範囲
- プロンプト
- 使用モデル
- 設定
- 試行回数
- 採用した結果
- 採用しなかった結果
- 人間によるレビュー
- 結論の限界
生成AIを業務分析や調査レポートに使う場合、結論だけでなく、プロセスを確認する必要があります。
自社の生成AI活用や分析レポートの妥当性を相談したい場合は、SCI総合研究所の KAMUSHIRUBE をご活用ください。
生成AIを含むデータ分析の目的整理、分析設計、検証プロセス、可視化、レポート化まで進めたい場合は、RASHINRA もご検討ください。
お問い合わせは、お問い合わせフォーム よりご連絡ください。
参考文献
- Simmons et al. 2011. False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science. Vol. 22. Issue 11. pp. 1359-1366. https://doi.org/10.1177/0956797611417632
- Head et al. 2015. The Extent and Consequences of P-Hacking in Science. PLOS Biology. Vol. 13. Issue 3. e1002106. https://doi.org/10.1371/journal.pbio.1002106
- Gelman and Loken. 2013. The garden of forking paths: Why multiple comparisons can be a problem, even when there is no fishing expedition or p-hacking and the research hypothesis was posited ahead of time. Unpublished manuscript. https://stat.columbia.edu/~gelman/research/unpublished/p_hacking.pdf
- Kerr. 1998. HARKing: Hypothesizing After the Results are Known. Personality and Social Psychology Review. Vol. 2. Issue 3. pp. 196-217. https://doi.org/10.1207/s15327957pspr0203_4
- Baumann et al. 2025. Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation. arXiv. https://arxiv.org/abs/2509.08825
- Kosch and Feger. 2025. Prompt-Hacking: The New p-Hacking? arXiv. https://arxiv.org/abs/2504.14571
- Thomas et al. 2026. Mitigating LLM-based p-Hacking by Preregistering for the Next LLM. arXiv. https://arxiv.org/abs/2606.27687
