Khi AI Dự Đoán Bài Thi: Độ Chính Xác 90% Thực Sự Tiết Lộ Điều Gì Về Những Hệ Thống Hỏng
Khi tôi làm việc với các tổ chức về Chuyển đổi Số và Tái thiết kế Quy trình Kinh doanh, tôi thường hỏi một câu hỏi sớm: bao nhiêu phần trong kế hoạch của bạn phụ thuộc vào việc lặp lại các mô hình lịch sử thay vì lý luận hướng về tương lai thực sự?
Một nhóm học sinh 18 tuổi ở Anh gần đây đã trả lời câu hỏi đó mạnh mẽ hơn bất kỳ bài thuyết trình phòng họp nào tôi từng thấy.
Sử dụng 20 năm đề thi GCSE và A-Level, thang điểm, báo cáo của giám khảo và tài liệu chương trình học, họ đã xây dựng một hệ thống AI dự đoán câu hỏi thi với độ chính xác hơn 90%. Năm ngoái hệ thống đạt 85%. Năm nay nó vượt qua 90%. Sự cải thiện không phải ngẫu nhiên. Đó là một vòng phản hồi hoạt động đúng như thiết kế.
Hầu hết mọi người đọc đây như một câu chuyện về AI. Tôi đọc nó như một câu chuyện về các hệ thống.
Kiến Trúc Không Mới
Hãy nói chính xác về những gì họ đã xây dựng. Hệ thống dựa trên ba lớp: một lớp tiếp nhận dữ liệu xử lý hai thập kỷ đề thi lịch sử và bình luận của giám khảo, một lớp nhận dạng mô hình sử dụng các mô hình ngôn ngữ lớn để mô hình hóa chu kỳ chủ đề và khoảng trống bao phủ, và một lớp đầu ra xác suất tạo ra các dự đoán xếp hạng có trọng số theo mức độ tái diễn lịch sử.
Đây là Retrieval-Augmented Generation áp dụng cho dự đoán mô hình theo thời gian. Cùng một logic kiến trúc xuất hiện trong dự báo tài chính, lập kế hoạch nhu cầu bán lẻ, phát hiện gian lận, phân tích an ninh mạng và tối ưu hóa chuỗi cung ứng.
Lĩnh vực thay đổi. Toán học thì không.
Độ Chính Xác 90% Thực Sự Phơi Bày Điều Gì
Nếu một hệ thống được đào tạo trên dữ liệu lịch sử có thể dự đoán câu hỏi thi với độ chính xác hơn 90%, đó không phải chủ yếu là bằng chứng của AI tinh vi. Đó là bằng chứng của một hệ thống đánh giá mang tính quyết định về cấu trúc.
Một bài thi được thiết kế tốt nên có khả năng kháng cao đối với dự đoán mô hình lịch sử. Nếu 20 năm dữ liệu có thể cho bạn biết điều gì sẽ xuất hiện trong đề thi năm tới với độ tin cậy 90%, hệ thống đang đo lường trí nhớ và khớp mô hình, không phải sự hiểu biết thực sự.
Các học sinh không phá vỡ hệ thống thi cử. Họ làm cho những gì đã hỏng sẵn trở nên hữu hình.
Cùng một khuyếm khuyết tồn tại trong kinh doanh. Các chu kỳ lập kế hoạch hàng năm tái sản xuất các giả định của năm ngoái. Các khung hiệu suất thưởng cho những hành vi được đánh giá cao trong môi trường cạnh tranh trước đây. Các quy trình tình báo chiến lược không có cơ chế phát hiện thay đổi cấu trúc. Đây không phải là những vấn đề khác nhau. Đó là cùng một vấn đề trong các lĩnh vực khác nhau.
Điều Các Tổ Chức Phải Đối Mặt Bây Giờ
Các tổ chức sẽ xây dựng vị thế cạnh tranh bền vững không phải là những tổ chức hạn chế nhân viên của họ có thể sử dụng gì. Họ là những người thiết kế lại quy trình của mình để thưởng cho những gì AI thực sự không thể sao chép: tổng hợp mới trên các lĩnh vực xa lạ, phán đoán đạo đức trong các tình huống mơ hồ, sáng tạo liên lĩnh vực, và kỷ luật đặt câu hỏi tốt hơn thay vì tạo ra câu trả lời nhanh hơn.
Nếu chiến lược, kế hoạch hoặc việc ra quyết định của bạn có thể được dự đoán với độ chính xác 90% từ dữ liệu lịch sử, AI không phải là thách thức lớn nhất của bạn.
Originally published on LinkedIn by Keshavan Thiagaraja. Read the original on LinkedIn.