AIが試験を予測するとき：90%の精度が壊れたシステムについて本当に明らかにすること

デジタルトランスフォーメーションとビジネスプロセス・リエンジニアリングで組織と仕事をするとき、私はよく早い段階で一つの質問をする。あなたの計画は、本当の前向きな推論ではなく、歴史的パターンの繰り返しにどれだけ依存しているか？

英国の18歳の学生グループが最近、私が見たどの取締役会プレゼンテーションよりも力強くその質問に答えた。

20年分のGCSEとA-Levelの試験問題、採点基準、試験官レポート、カリキュラム文書を使って、彼らは90%以上の精度で試験問題を予測するAIシステムを構築した。昨年、システムは85%に達した。今年は90%を超えた。この改善は偶然ではなかった。設計通りに機能するフィードバックループだった。

ほとんどの人はこれをAIについての物語として読む。私はシステムについての物語として読む。

アーキテクチャは新しくない

彼らが何を構築したかについて正確に言おう。システムは3つの層に依存している。20年分の歴史的問題と試験官コメントを処理するデータ取り込み層、大規模言語モデルを使ってトピックサイクルとカバレッジギャップをモデル化するパターン認識層、そして歴史的再発によって重み付けされたランク付け予測を生成する確率的出力層。

これは時間的パターン予測に適用された検索拡張生成（Retrieval-Augmented Generation）だ。同じアーキテクチャロジックは、財務予測、小売需要計画、不正検出、サイバーセキュリティ分析、サプライチェーン最適化に現れる。

ドメインは変わる。数学は変わらない。

90%の精度が実際に暴露するもの

歴史的データで訓練されたシステムが90%以上の精度で試験問題を予測できるなら、それは主として洗練されたAIの証拠ではない。構造的に決定論的な評価システムの証拠だ。

よく設計された試験は歴史的パターン予測に対して高度に抵抗性があるべきだ。20年のデータが来年の問題用紙に何が出るかを90%の信頼度で教えてくれるなら、システムは本当の理解ではなく、記憶とパターンマッチングを測定している。

学生たちは試験システムを壊さなかった。彼らはすでに壊れていたものを見えるようにした。

同じ欠陥がビジネスにも存在する。昨年の仮定を再生産する年次計画サイクル。以前の競争環境で評価された行動に報いるパフォーマンスフレームワーク。構造的変化を検出するメカニズムのない戦略的インテリジェンスプロセス。これらは異なる問題ではない。異なるドメインでの同じ問題だ。

組織が今向き合わなければならないこと

永続的な競争的地位を築く組織は、従業員が何を使えるかを制限する組織ではない。AIが本当に複製できないものに報いるようにプロセスを再設計する組織だ。馴染みのないドメインにわたる新規な統合、曖昧な状況での倫理的判断、ドメイン横断的創造性、そしてより速い答えを生成するよりもより良い質問をする規律。

あなたの戦略、計画、または意思決定が歴史的データから90%の精度で予測できるなら、AIはあなたの最大の課題ではない。

Originally published on LinkedIn by Keshavan Thiagaraja. Read the original on LinkedIn.