เมื่อ AI ทำนายข้อสอบ: ความแม่นยำ 90% เผยอะไรจริงๆ เกี่ยวกับระบบที่พัง

เมื่อฉันทำงานกับองค์กรเรื่องการแปลงร่างดิจิทัลและการวิศวกรรมกระบวนการธุรกิจใหม่ ฉันมักถามคำถามหนึ่งตั้งแต่เนิ่นๆ: การวางแผนของคุณพึ่งพาการทำซ้ำของรูปแบบในอดีตมากแค่ไหน แทนที่จะเป็นการใช้เหตุผลมองไปข้างหน้าอย่างแท้จริง?

กลุ่มนักเรียนอายุ 18 ปีในสหราชอาณาจักรเพิ่งตอบคำถามนั้นอย่างทรงพลังกว่าการนำเสนอในห้องประชุมใดๆ ที่ฉันเคยเห็น

โดยใช้ข้อสอบ GCSE และ A-Level 20 ปี เกณฑ์การให้คะแนน รายงานของผู้ตรวจข้อสอบ และเอกสารหลักสูตร พวกเขาสร้างระบบ AI ที่ทำนายข้อสอบได้ด้วยความแม่นยำกว่า 90% ปีที่แล้วระบบทำได้ 85% ปีนี้เกิน 90% การปรับปรุงไม่ได้เกิดโดยบังเอิญ มันคือวงจรป้อนกลับที่ทำงานตรงตามที่ออกแบบไว้

คนส่วนใหญ่อ่านเรื่องนี้เป็นเรื่องราวเกี่ยวกับ AI ฉันอ่านมันเป็นเรื่องราวเกี่ยวกับระบบ

สถาปัตยกรรมไม่ใช่ของใหม่

มาระบุให้ชัดเจนว่าพวกเขาสร้างอะไร ระบบพึ่งพาสามชั้น: ชั้นนำเข้าข้อมูลที่ประมวลผลข้อสอบย้อนหลังสองทศวรรษและความคิดเห็นของผู้ตรวจ ชั้นจดจำรูปแบบที่ใช้โมเดลภาษาขนาดใหญ่สร้างแบบจำลองวงจรหัวข้อและช่องว่างความครอบคลุม และชั้นผลลัพธ์เชิงความน่าจะเป็นที่สร้างการทำนายแบบจัดอันดับถ่วงน้ำหนักด้วยการเกิดซ้ำในอดีต

นี่คือ Retrieval-Augmented Generation ที่ประยุกต์ใช้กับการทำนายรูปแบบตามเวลา ตรรกะสถาปัตยกรรมเดียวกันปรากฏในการพยากรณ์การเงิน การวางแผนความต้องการค้าปลีก การตรวจจับการฉ้อโกง การวิเคราะห์ความมั่นคงไซเบอร์ และการเพิ่มประสิทธิภาพห่วงโซ่อุปทาน

โดเมนเปลี่ยน คณิตศาสตร์ไม่เปลี่ยน

ความแม่นยำ 90% เผยอะไรจริงๆ

ถ้าระบบที่ฝึกบนข้อมูลในอดีตสามารถทำนายข้อสอบได้ด้วยความแม่นยำกว่า 90% นั่นไม่ใช่หลักฐานของ AI ที่ซับซ้อนเป็นหลัก มันคือหลักฐานของระบบประเมินที่เป็นนิยายเชิงโครงสร้าง

ข้อสอบที่ออกแบบมาดีควรต้านทานการทำนายรูปแบบในอดีตอย่างสูง ถ้าข้อมูล 20 ปีสามารถบอกได้ว่าอะไรจะออกในข้อสอบปีหน้าด้วยความมั่นใจ 90% ระบบกำลังวัดการจำและการจับคู่รูปแบบ ไม่ใช่ความเข้าใจที่แท้จริง

นักเรียนไม่ได้ทำลายระบบสอบ พวกเขาทำให้สิ่งที่พังอยู่แล้วมองเห็นได้

ข้อบกพร่องเดียวกันมีอยู่ในธุรกิจ วงจรการวางแผนรายปีที่ทำซ้ำสมมติฐานปีที่แล้ว กรอบผลงานที่ให้รางวัลพฤติกรรมที่เคยมีค่าในสภาพแวดล้อมการแข่งขันก่อนหน้า กระบวนการข่าวกรองเชิงกลยุทธ์ที่ไม่มีกลไกตรวจจับการเปลี่ยนแปลงเชิงโครงสร้าง เหล่านี้ไม่ใช่ปัญหาที่แตกต่างกัน มันคือปัญหาเดียวกันในโดเมนที่แตกต่างกัน

สิ่งที่องค์กรต้องเผชิญตอนนี้

องค์กรที่จะสร้างตำแหน่งการแข่งขันที่ยั่งยืนไม่ใช่องค์กรที่จำกัดสิ่งที่พนักงานใช้ได้ แต่คือองค์กรที่ออกแบบกระบวนการใหม่เพื่อให้รางวัลสิ่งที่ AI ทำซ้ำไม่ได้จริงๆ: การสังเคราะห์ใหม่ข้ามโดเมนที่ไม่คุ้นเคย การตัดสินใจเชิงจริยธรรมในสถานการณ์ที่กำกวม ความคิดสร้างสรรค์ข้ามโดเมน และวินัยในการถามคำถามที่ดีกว่าแทนที่จะสร้างคำตอบที่เร็วกว่า

ถ้ากลยุทธ์ การวางแผน หรือการตัดสินใจของคุณสามารถทำนายได้ด้วยความแม่นยำ 90% จากข้อมูลในอดีต AI ไม่ใช่ความท้าทายที่ใหญ่ที่สุดของคุณ

Originally published on LinkedIn by Keshavan Thiagaraja. Read the original on LinkedIn.