——基于失业保险裁决的实证研究
核心问题
人工智能系统在缺乏充分信息时仍给出自信结论，这种现象被称为“事实性妄下断言”（factual presumptuousness）。在法律裁决中，判断证据是否充足是核心任务，但主流AI模型往往在不具备足够事实支撑时便匆忙决定。失业保险（UI）裁决正是典型场景：每年数百万申请人的资格判定，常因信息不全而陷入困境。错误的自动裁决可能导致虚假指控、福利被扣甚至人员伤亡（如2015年密歇根州UI系统误判2万居民为欺诈，导致一人自杀）。
研究设计
作者与科罗拉多州劳动与就业部合作，获取官方培训材料，构建了一个250道题的基准数据集，系统性控制信息完整度：其中56%为“无法定案”（故意缺失1~4项关键法定事实），其余为完整案（符合或不符合资格）。评估对象包括Claude Sonnet 4.5、GPT 5.2、Gemini 3、NotebookLM四大前沿平台，均通过检索增强生成（RAG）提供相同的法律条文和裁决指南。
（原文下载，请扫码加入知识库）
关键发现
-
基线模型严重妄下断言：在信息不足的案件中，平均准确率仅15%（GPT 5.2也仅30%正确“暂缓决定”），而Sonnet 4.5更是低至8%。即模型极大概率在应“暂缓”时给出肯定/否定结论。
-
高级提示方法（思维链、树状思维等）虽有改善，却陷入“决定—暂缓”两难：它们能提升对不全案件的识别率（达64%），但反过来在完整案件上过度保守，准确率下降，无法同时兼顾。
-
SPEC框架突破困境：作者提出结构化证据清单提示（SPEC），通过三代理架构——①提取法律要求清单、②逐项核对事实是否满足、③监督复核——强制要求明确识别缺失信息后才允许裁决。实验显示，SPEC在完整案和缺失案上均达到89%准确率，消除了妄下断言，且未牺牲对清晰案件的判断力。
对保险裁决的启示
失业保险是社会保险的一种，其裁决质量直接关系民生。当前AI部署在行政领域势不可挡，但多数基准测试（包括法律AI基准）默认所有问题都有确定答案，忽略了“信息不足”这一现实常态。实际UI裁决中，87%的案件需要额外调查，因此SPEC带来的实际增益远超实验数据。
该研究证明，结构化的信息缺口识别比单纯改进提示或校准置信度更为根本。SPEC不仅适用于UI，也可推广至其他保险理赔（如健康险、伤残险）的初步审核，帮助AI在不确定时主动提示所需补充材料，而非武断决定。这种“学会暂缓”的能力，是AI从“替代人”走向“辅助人”的关键一步，也是避免自动化悲剧的必要设计原则。
发布者：保险日报，转转请注明出处：https://www.insurdaily.com/archives/6374.html
微信扫一扫 
