Kapag Hinuhulaan ng AI ang Pagsusulit: Ano ang Tunay na Ipinapakita ng 90% na Katumpakan Tungkol sa mga Sirang Sistema
Kapag nagtatrabaho ako sa mga organisasyon sa Digital Transformation at Business Process Re-engineering, madalas akong nagtatanong ng isang tanong nang maaga: gaano kalaki ng inyong pagpaplano ang nakadepende sa pag-uulit ng makasaysayang pattern sa halip na tunay na pangangatwiran pasulong?
Isang grupo ng mga mag-aaral na 18 taong gulang sa UK ang kamakailang sumagot sa tanong na iyon nang mas malakas kaysa anumang boardroom presentation na nakita ko.
Gamit ang 20 taon ng GCSE at A-Level exam papers, mark schemes, examiner reports, at curriculum documents, nagtayo sila ng AI system na hinulaan ang mga tanong sa pagsusulit nang may higit 90% na katumpakan. Noong nakaraang taon umabot ang sistema sa 85%. Ngayong taon lumampas ito sa 90%. Ang pagpapabuti ay hindi aksidente. Ito ay isang feedback loop na gumagana nang eksakto gaya ng disenyo.
Karamihan ng tao ay binabasa ito bilang kuwento tungkol sa AI. Binabasa ko ito bilang kuwento tungkol sa mga sistema.
Hindi Bago ang Arkitektura
Maging tiyak tayo sa kung ano ang itinayo nila. Ang sistema ay nakasandal sa tatlong layer: isang data ingestion layer na nagpoproseso ng dalawang dekada ng makasaysayang papel at komentaryo ng examiner, isang pattern recognition layer na gumagamit ng malalaking language model para imodelo ang mga siklo ng paksa at mga gap sa sakop, at isang probabilistic output layer na gumagawa ng naka-rank na prediksyon na may timbang ayon sa makasaysayang pag-uulit.
Ito ay Retrieval-Augmented Generation na inilapat sa temporal pattern prediction. Ang parehong arkitektural na lohika ay lumilitaw sa financial forecasting, retail demand planning, fraud detection, cybersecurity analytics, at supply chain optimisation.
Nagbabago ang domain. Hindi nagbabago ang matematika.
Ano ang Tunay na Inilalantad ng 90% na Katumpakan
Kung ang isang sistemang sinanay sa makasaysayang data ay kayang hulaan ang mga tanong sa pagsusulit nang may higit 90% na katumpakan, iyon ay hindi pangunahing ebidensya ng sopistikadong AI. Ebidensya ito ng isang istruktural na deterministikong sistema ng pagtatasa.
Ang isang mahusay na dinisenyong pagsusulit ay dapat na lubos na lumalaban sa prediksyon ng makasaysayang pattern. Kung ang 20 taon ng data ay makapagsasabi sa iyo kung ano ang lalabas sa papel ng susunod na taon nang may 90% na kumpiyansa, ang sistema ay sumusukat ng pag-alala at pagtutugma ng pattern, hindi tunay na pag-unawa.
Hindi sinira ng mga mag-aaral ang sistema ng pagsusulit. Ginawa nilang nakikita ang dating sira na.
Ang parehong depekto ay umiiral sa negosyo. Mga taunang siklo ng pagpaplano na nagre-reproduce ng mga palagay ng nakaraang taon. Mga performance framework na nagbibigay-gantimpala sa mga kilos na pinahahalagahan sa dating kapaligirang kompetitibo. Mga proseso ng strategic intelligence na walang mekanismo para matukoy ang istruktural na pagbabago. Hindi ito magkakaibang problema. Ito ang parehong problema sa magkakaibang domain.
Ang Dapat Harapin ng mga Organisasyon Ngayon
Ang mga organisasyong magtatayo ng matibay na posisyong kompetitibo ay hindi yaong naghihigpit sa kung ano ang maaaring gamitin ng kanilang mga tao. Sila ang muling nagdidisenyo ng kanilang mga proseso upang gantimpalaan ang tunay na hindi kayang kopyahin ng AI: bagong sintesis sa mga hindi pamilyar na domain, etikal na paghuhusga sa mga malabong sitwasyon, cross-domain na pagkamalikhain, at ang disiplina na magtanong ng mas mahusay na mga tanong sa halip na bumuo ng mas mabilis na mga sagot.
Kung ang iyong estratehiya, pagpaplano, o paggawa ng desisyon ay mahuhulaan nang may 90% na katumpakan mula sa makasaysayang data, ang AI ay hindi ang iyong pinakamalaking hamon.
Originally published on LinkedIn by Keshavan Thiagaraja. Read the original on LinkedIn.