- 税務AIの問題は「精度」ではなく「プロセスの統制」にあること
- AIの流暢な回答が誤った判断を強化する「流暢さの幻想」のメカニズム
- 注意書きや免責事項がかえって危険を増す理由
- 「正しく答えるAI」ではなく「間違って進めないAI」が必要な理由
LLM（大規模言語モデル）を用いた心理支援システムに関する最新の研究（Zhao et al., “From Stateless to Situated: Building a Psychological World for LLM-Based Emotional Support“, 2026）は、AIが人間を支援する場面における構造的なリスクを明らかにしています。
この論文は税務の論文ではありません。しかし、その知見は税務AIの設計と利用のあり方に対して、きわめて重要な示唆を含んでいます。
本稿では、この論文の3つの中核的知見を税務AIの文脈に翻訳し、税務AIが備えるべき4つの設計原則として提示します。
AIの問題は「間違うこと」ではなく、「間違ったまま進めてしまうこと」にあるからです。精度の向上だけでは、プロセス全体の安全性は担保できません。
税務AIに関する議論の多くは、「AIの回答がどれだけ正確か」という精度の問題に焦点を当てています。
しかし、Zhao et al.（2026）の研究は、問題の本質が精度ではなく「プロセスの統制（process control）」にあることを示しています。
心理支援の文脈では、相談者の状況を十分に把握しないまま助言を出したり、相談者が理解していないまま次の段階に進んだりすることが、重大なリスクにつながります。
税務の文脈でも構造は同じです。
納税者の所得区分を確認しないまま「申告不要です」と結論を出したり、例外条件を検討しないまま「経費として認められます」と回答したりすることは、正確性以前のプロセスの問題です。
AIの流暢で自信に満ちた回答が、回答内容の不適切さを覆い隠す現象です。論文はこれを「fluency illusion（流暢さの幻想）」と命名しています。税務AIでは、「安心できる文章」が誤った行動を強化するという形で現れます。
心理支援での具体例
相談者が「最近ずっと仕事がつらくて…辞めたい気持ちがあります」と打ち明けたとします。
AIは「それは本当に大変でしたね。あなたはよく頑張っています」と共感的に応答します。
税務AIでの具体例
納税者が「この副業収入、申告しなくても大丈夫ですか？」と質問したとします。
AIは「少額であれば問題ないケースも多いので、そこまで心配しなくて大丈夫ですよ」と回答します。
この問題が深刻なのは、従来の評価基準では検出できない点にあります。
論文は、言語品質中心の評価体系そのものが誤っていると主張しています。流暢さ・自然さ・わかりやすさで評価すれば、上記の回答は「良い回答」になってしまうのです。
設計原則1：流暢さよりプロセスを優先せよ
- AIの評価基準は「わかりやすさ」ではなく、適切な判断プロセスを踏んでいるかであるべき
- 条件不足なら結論を出さない
- 「可能性」「場合による」を積極的に使用する
- 推論経路（なぜそうなるか）を明示する
いいえ。論文の実験では、中途半端な制御を導入したシステムが、制御を一切しないシステムよりも成績が悪かったという結果が出ています。「部分的な制御は、制御なしよりも悪い」のです。
論文の実験結果
論文は3つのシステムを比較しています。
| システム | 特徴 | 深い介入の完遂率 |
|---|---|---|
| Baseline | 制御なし（自由に会話） | 0.71 |
| MiddleBaseline | 中途半端な制御（ステージ意識あり、外部状態なし） | 0.51 |
| LEKIA | 完全な制御（外部状態＋二重ゲート） | 0.81 |
税務AIでの具体例
AIが以下のように回答したとします。
「一般的な情報ですが…（※個別判断が必要です）この場合、申告不要の可能性が高いです」
ユーザーの認識はこうなります。
「ちゃんと注意書きもあるし、大丈夫そうだ」
設計原則2：部分的な安全装置は排除せよ
- 注意書きだけで結論を提示することは禁止すべき
- 安全条件を満たさない限り、処理を停止する設計にすべき
- 不完全な状態では機能を制限すべき
- 「それっぽい安全」は最も危険
納税者の理解と同意です。論文は、ユーザーの同意を「AIが配慮するもの」ではなく「システム構造として強制されるもの」にすべきだと主張しています。税務AIでは、「納税者が前提条件を理解していない状態で結論を提示しない」ことが、構造的に保証されるべきです。
心理支援での具体例
相談者が「まだその話はしたくないです」と言ったとします。
通常のLLMは「でも少し考えてみると役立つかもしれません」と説得してしまいます。
税務AIでの具体例
納税者が「よくわからないので、とりあえず結論だけ教えてください」と言ったとします。
従来のAIは「この場合は課税されません」と結論を提示します。
あるべき設計はこうです。
AI：「結論の前に、以下の点を確認しないと正確な判断はできません。①所得の区分は何ですか？ ②金額はいくらですか？ ③他に申告すべき所得はありますか？」
論文はこの設計思想を次のように表現しています。
同意は「アラインメントの結果（alignment objective）」ではなく、「アーキテクチャの不変条件（architectural invariant）」であるべきだ、と。
税務AIに置き換えれば、「納税者が十分に理解していない状態で結論を提示しない」という原則を、注意書きの表示ではなく、AIの動作構造そのものに組み込むべきだということになります。
なお、この設計思想は、税理士の業務とも整合します。税理士は依頼者の状況を十分に聴取し、前提条件を確認した上で判断を示します。AIがその手続きを省略することは、専門家としての判断プロセスの劣化にほかなりません。
設計原則3：同意は構造で強制せよ
- 理解確認がないと進めない設計にすべき
- 条件確認が完了しないと結論を出すことを禁止すべき
- ユーザーが拒否した場合は進行を停止すべき
- 「同意」は感情ではなく条件充足
3つの原則を統合すると、第4の原則が導かれます。「正しく進める」よりも「誤って進めない」ことを優先する設計――「進めない自由」を構造に組み込むことです。
従来の税務AI設計は「精度中心モデル」です。正確な回答を出すこと、ユーザー満足を高めることが目標とされてきました。
しかし、論文が示すのは「プロセス統制モデル」への転換の必要性です。誤った進行を防ぐこと、プロセスを強制することが、安全性の前提条件です。
| 従来モデル（精度中心） | 新モデル（プロセス統制） | |
|---|---|---|
| 目標 | 正確な回答を出す | 誤った進行を防ぐ |
| 評価基準 | 回答の正確性・流暢さ | プロセスの適切さ |
| 安全装置 | 注意書き・免責事項 | 条件未充足なら停止 |
| 同意の扱い | 配慮（ソフト制約） | 構造的保証（ハード制約） |
| 失敗モード | 誤った回答 | 誤ったまま進行すること |
設計原則4（統合原則）：進めない自由を設計せよ
- 不確実性が一定以上であれば回答を停止する
- 条件不足であれば分岐質問に移行する
- 誤解を検知した場合はリセットする
- 「進まないこと」が安全になる設計
この4つの原則を一言でまとめると、次のようになります。
② 中途半端な安全を排除せよ
③ 同意を構造で強制せよ
④ 進まないことを許容せよ
これらの原則は、AIの技術的な設計にとどまらず、税理士がAIを利用する際の判断基準としても機能します。クライアントがAIの回答を持ち込んできた場合に、その回答が上記の原則に照らして適切なプロセスを経ているかどうかを確認することは、専門家としての重要な役割です。
AIの普及は、税理士の仕事を奪うものではなく、むしろ「プロセスの統制」という専門家固有の価値を浮き彫りにするものだといえます。
出典
- Boning Zhao, Clover, Xinnuo Li, “From Stateless to Situated: Building a Psychological World for LLM-Based Emotional Support” (2026)
https://arxiv.org/abs/2603.25031
（注）本稿で紹介した論文はLLMベースの心理支援システムに関するものであり、税務AIを直接の対象としたものではありません。税務AIへの適用は筆者の解釈・見解です。
▶ 関連記事：生成AI・AIチャットボットで税務相談をするリスク ― 「シンプレクシティ」の問題
▶ 関連記事：AIが税務の世界を変える時代に、「わかりやすい税制」「簡素な税制」とは何かを問い直す
▶ 関連記事：確定申告でAIに「聞きにくい質問」をする人が急増している
