当AI预测考试时：90%的准确率真正揭示了关于坏掉的系统的什么

当我和组织合作做数字化转型和业务流程再造时，我经常很早就问一个问题：你们的规划有多少依赖历史模式的重复，而不是真正向前的推理？

英国一群18岁的学生最近回答了这个问题，比我见过的任何董事会演示都更加有力。

他们用了20年的GCSE和A-Level试卷、评分标准、考官报告和课程文件，搭建了一个AI系统，以超过90%的准确率预测考试题目。去年这个系统达到85%。今年超过90%。这个进步不是偶然的。它是一个反馈回路，完全按照设计运作。

大多数人把这个读成关于AI的故事。我把它读成关于系统的故事。

架构并不新

让我们精确地讲一讲他们搭建了什么。系统依赖三个层：一个数据摄取层处理二十年的历史试卷和考官评论，一个模式识别层用大语言模型来建模主题周期和覆盖缺口，以及一个概率输出层产生按历史复发加权的排名预测。

这就是应用到时间模式预测的检索增强生成（Retrieval-Augmented Generation）。同样的架构逻辑出现在财务预测、零售需求规划、欺诈检测、网络安全分析和供应链优化中。

领域在变。数学不变。

90%准确率真正暴露的东西

如果一个在历史数据上训练的系统能够以超过90%的准确率预测考试题目，那首先不是精巧AI的证据。它是结构性决定论评估系统的证据。

一个设计得好的考试应该对历史模式预测高度抵抗。如果20年的数据能以90%的信心告诉你明年的试卷上会出现什么，系统测量的是记忆和模式匹配，不是真正的理解。

学生们没有弄坏考试系统。他们把已经坏掉的东西变得可见了。

同样的缺陷也存在于商业中。每年的规划周期重复去年的假设。绩效框架奖励在先前竞争环境中被看重的行为。没有检测结构性变化机制的战略情报流程。这些不是不同的问题。是不同领域里的同一个问题。

组织现在必须面对的东西

将会建立持久竞争地位的组织，不是限制员工能用什么的组织。而是重新设计流程来奖励AI真正复制不了的东西的组织：在不熟悉领域之间的新颖综合、在模糊情境中的道德判断、跨领域创造力，以及提出更好问题而不是产生更快答案的纪律。

如果你的战略、规划或者决策能从历史数据以90%的准确率被预测，AI不是你最大的挑战。

Originally published on LinkedIn by Keshavan Thiagaraja. Read the original on LinkedIn.