Когда ИИ предсказывает экзамен: Что на самом деле раскрывает точность 90% о сломанных системах
Когда я работаю с организациями над цифровой трансформацией и реинжинирингом бизнес-процессов, я часто задаю один вопрос рано: насколько ваше планирование зависит от повторения исторических шаблонов, а не от подлинного взгляда вперёд?
Группа 18-летних студентов в Великобритании недавно ответила на этот вопрос более убедительно, чем любая презентация в зале заседаний, которую я видел.
Используя 20 лет экзаменационных работ GCSE и A-Level, схем оценивания, отчётов экзаменаторов и учебных документов, они построили систему ИИ, которая предсказала экзаменационные вопросы с точностью более 90%. В прошлом году система достигла 85%. В этом году она превысила 90%. Улучшение не было случайным. Это была петля обратной связи, работающая точно так, как задумано.
Большинство людей читают это как историю об ИИ. Я читаю это как историю о системах.
Архитектура не нова
Будем точны в том, что они построили. Система опирается на три слоя: слой приёма данных, обрабатывающий два десятилетия исторических работ и комментарии экзаменаторов, слой распознавания шаблонов, использующий большие языковые модели для моделирования тематических циклов и пробелов в покрытии, и вероятностный выходной слой, производящий ранжированные прогнозы, взвешенные по исторической повторяемости.
Это генерация, дополненная поиском (Retrieval-Augmented Generation), применённая к прогнозированию временных шаблонов. Та же архитектурная логика появляется в финансовом прогнозировании, планировании розничного спроса, обнаружении мошенничества, аналитике кибербезопасности и оптимизации цепочек поставок.
Область меняется. Математика нет.
Что точность 90% на самом деле раскрывает
Если система, обученная на исторических данных, может предсказать экзаменационные вопросы с точностью более 90%, это не в первую очередь доказательство сложного ИИ. Это доказательство структурно детерминистской системы оценки.
Хорошо спроектированный экзамен должен быть высокоустойчив к прогнозированию исторических шаблонов. Если 20 лет данных могут сказать вам, что появится на экзаменационной работе следующего года с уверенностью 90%, система измеряет запоминание и сопоставление шаблонов, а не подлинное понимание.
Студенты не сломали систему экзаменов. Они сделали видимым то, что уже было сломано.
Тот же дефект существует в бизнесе. Годовые циклы планирования, воспроизводящие прошлогодние допущения. Системы оценки эффективности, вознаграждающие поведение, ценившееся в прежней конкурентной среде. Процессы стратегической разведки без механизма обнаружения структурных изменений. Это не разные проблемы. Это одна и та же проблема в разных областях.
Что организации должны теперь принять
Организации, которые построят долговечные конкурентные позиции, не те, которые ограничивают то, что могут использовать их сотрудники. Это те, которые перепроектируют свои процессы, чтобы вознаграждать то, что ИИ действительно не может воспроизвести: новый синтез в незнакомых областях, этическое суждение в неоднозначных ситуациях, междисциплинарную креативность и дисциплину задавать лучшие вопросы вместо генерации более быстрых ответов.
Если ваша стратегия, планирование или принятие решений могут быть предсказаны с точностью 90% из исторических данных, ИИ не ваша самая большая проблема.
Originally published on LinkedIn by Keshavan Thiagaraja. Read the original on LinkedIn.