AI가 시험을 예측할 때: 90% 정확도가 망가진 시스템에 대해 실제로 드러내는 것

디지털 트랜스포메이션과 비즈니스 프로세스 리엔지니어링으로 조직과 일할 때, 나는 종종 초기에 한 가지 질문을 한다. 당신의 계획은 진정한 미래 지향적 추론이 아니라 역사적 패턴 반복에 얼마나 의존하는가?

영국의 18세 학생 그룹이 최근 내가 본 어떤 이사회 프레젠테이션보다 더 강력하게 그 질문에 답했다.

20년간의 GCSE와 A-Level 시험지, 채점 기준, 시험관 보고서, 커리큘럼 문서를 사용하여, 그들은 90% 이상의 정확도로 시험 문제를 예측하는 AI 시스템을 구축했다. 작년에 시스템은 85%에 도달했다. 올해는 90%를 넘었다. 이 개선은 우연이 아니었다. 설계된 대로 정확히 작동하는 피드백 루프였다.

대부분의 사람들은 이것을 AI에 관한 이야기로 읽는다. 나는 시스템에 관한 이야기로 읽는다.

아키텍처는 새롭지 않다

그들이 무엇을 구축했는지 정확히 말하자. 시스템은 세 개의 층에 의존한다. 20년간의 역사적 시험지와 시험관 논평을 처리하는 데이터 수집 층, 대규모 언어 모델을 사용하여 주제 주기와 커버리지 격차를 모델링하는 패턴 인식 층, 그리고 역사적 재발로 가중된 순위 예측을 생성하는 확률적 출력 층.

이것은 시간적 패턴 예측에 적용된 검색 증강 생성(Retrieval-Augmented Generation)이다. 동일한 아키텍처 논리가 재무 예측, 소매 수요 계획, 사기 탐지, 사이버 보안 분석 및 공급망 최적화에 나타난다.

도메인은 바뀐다. 수학은 바뀌지 않는다.

90% 정확도가 실제로 폭로하는 것

역사적 데이터로 훈련된 시스템이 90% 이상의 정확도로 시험 문제를 예측할 수 있다면, 그것은 주로 정교한 AI의 증거가 아니다. 구조적으로 결정론적인 평가 시스템의 증거다.

잘 설계된 시험은 역사적 패턴 예측에 대해高度 저항성이 있어야 한다. 20년의 데이터가 내년 시험지에 무엇이 나올지 90%의 확신으로 말해줄 수 있다면, 시스템은 진정한 이해가 아니라 기억과 패턴 매칭을 측정하고 있는 것이다.

학생들은 시험 시스템을 망가뜨리지 않았다. 그들은 이미 망가져 있던 것을 보이게 만들었다.

같은 결함이 비즈니스에도 존재한다. 작년의 가정을 재생산하는 연간 계획 주기. 이전 경쟁 환경에서 가치 있던 행동에 보상하는 성과 프레임워크. 구조적 변화를 감지할 메커니즘이 없는 전략적 인텔리전스 프로세스. 이것들은 다른 문제가 아니다. 다른 도메인에서의 같은 문제다.

조직이 이제 직면해야 할 것

지속 가능한 경쟁 위치를 구축할 조직은 직원들이 무엇을 사용할 수 있는지를 제한하는 조직이 아니다. AI가 진정으로 복제할 수 없는 것에 보상하도록 프로세스를 재설계하는 조직이다. 익숙하지 않은 도메인에 걸친 새로운 종합, 모호한 상황에서의 윤리적 판단, 도메인 간 창의성, 그리고 더 빠른 답을 생성하기보다 더 나은 질문을 하는 규율.

당신의 전략, 계획 또는 의사 결정이 역사적 데이터로부터 90%의 정확도로 예측될 수 있다면, AI는 당신의 가장 큰 도전이 아니다.

Originally published on LinkedIn by Keshavan Thiagaraja. Read the original on LinkedIn.