Jinsi Miundo ya AI Inavyoboreka Kupitia Fine-Tuning: Mtazamo wa Msanifu wa Biashara

Kila mfumo wenye nguvu wa AI unaotumia leo huanza maisha yake kama mjumla. Unakuwa muhimu kwa njia ile ile watu wanavyokuwa muhimu: kupitia mafunzo yenye lengo. Hatua hiyo ya pili, fine-tuning, ndiyo mahali ambapo uwezo ghafi hubadilika kuwa tabia ya kitaalamu ya kuaminika. Mashirika mengi huelewa vibaya. Wengi hulipa kosa hilo mara mbili: mara moja katika matumizi yaliyopotea na tena katika faida iliyokwenda.

Siandiki hii kama muuzaji, bali kama msanifu wa biashara. Fine-tuning si kipengele unachonunua. Ni uamuzi wa usanifu ambao unajikalia mwenyewe.

Mfumo unavyoboreka kweli kweli

Miundo ya mipaka hujengwa kwa tabaka, na kila tabaka hujibu swali tofauti.

Mafunzo ya awali hujibu: mfumo unajua nini? Mfumo husoma kiasi kikubwa cha maandishi na msimbo na hujifunza mifumo ya lugha, hoja, na programu. Hatua hii ni kubwa, ya gharama kubwa, na hufanywa na watoa miundo, si wewe.

Fine-tuning yenye usimamizi hujibu: mfumo unapaswa kutenda vipi? Watoa huduma, na baadaye mashirika, humwonyesha mfumo mifano iliyochaguliwa ya kazi nzuri: swali lililoambatana na jibu imara, tiketi iliyoambatana na suluhisho sahihi. Mfumo unahama kutoka kubahatisha maandishi hadi kufanya kazi.

Uboreshaji wa mapendeleo hujibu: ni tabia gani binadamu anaitaka kweli? Mbinu kama kujifunza kwa kuimarishwa kutoka kwa maoni ya binadamu na mrithi wake rahisi zaidi, uboreshaji wa mapendeleo wa moja kwa moja, hufundisha mfumo kwa kulinganisha: jibu hili ni bora kuliko lile. Wataalamu wa binadamu hutengeneza na kuhukumu mifano migumu. Mfumo unajifunza busara, si maarifa tu.

Tathmini hujibu: je, kuna chochote cha kweli katika haya? Vipimo imara na mapitio ya binadamu hupima kama mfumo umeboreka kweli au umeonekana tu kuwa bora. Bila hivyo, hakuna maabara ya dhati inayotoa. Hakuna shirika la dhati linalopaswa pia.

Angalia muundo. Miundo haiboreki kwa sababu hukua. Huboreka kwa sababu wanadamu huendelea kufundisha kile kilicho kizuri kinaonekanaje, na kuendelea kujaribu kama imejifunza. Hiyo ni mnyororo wa usambazaji wa ujuzi, na sasa ni sifa ya kudumu ya uchumi wa AI.

Uamuzi ambao mashirika mengi hufanya vibaya

Hii ni koso la kimfumo. Mashirika hurejea fine-tuning kwanza kwa sababu inaonekana ya muamuzi, wakati usanifu mara nyingi husema inapaswa kuja ya mwisho.

Uhandisi wa prompt hubadilisha unachouliza. Fine-tuning hubadilisha mfumo ni nini. Uzalishaji ulioimarishwa na urejeshaji (RAG) hubadilisha mfumo unachoweza kuona. Vijimbo vitatu, matatizo matatu tofauti.

Prompting ni kwa tabia unayoweza kuelezea. Ikiwa maagizo wazi na mifano hutatua tatizo, umekwisha, kwa gharama ya karibu sifuri na uwezo wa kutendua mara moja.

Urejeshaji ni kwa maarifa yanayobadilika. Orodha za bidhaa, sera, sheria ya kesi, bei. RAG huleta ukweli wa sasa wakati wa swali, hivyo jibu hubaki jipya na kufungwa na chanzo. Fine-tuning huoka maarifa ndani, ambapo hukongaa kimya kimya.

Fine-tuning ni kwa tabia usiyoweza kuelezea. Mtindo wa nyumba kupitia hati elfu kumi. Busara ya uwanja ambayo wataalamu huitumia lakini hawawezi kuiandika kikamilifu. Miundo imara ya matokeo kwa kiwango kikubwa, ambapo prompt ndogo na miundo midogo iliyorekebishwa hupunguza gharama kwa kila wito. Hufundisha ujuzi na toni, si ukweli mpya.

Mpangilio wa kweli ni: prompting kwanza, urejeshaji baadaye, fine-tuning pale ushahidi unapohitaji, na mara nyingi zote tatu pamoja. Mfumo uliorekebishwa unaozungumza lugha yako, uliolishwa na urejeshaji unaojua ukweli wa leo, unaendeshwa na prompt zenye nidhamu. Kila chaguo unaloruka katika mpangilio huo ni deni la kiufundi lenye riba na faida.

Uchumi umebadilika

Miaka mitano iliyopita, fine-tuning ilimaanisha kufundisha upya miundo mikubwa kwa gharama kubwa. Mbinu zenye ufanisi wa vigezo zilimaliza enzi hiyo. Mbinu kama LoRA na QLoRA hufungia mfumo wa msingi na kufundisha tabaka ndogo za kiambatanisho, kwa kawaida chini ya asilimia moja ya vigezo. Fine-tune iliyohitaji zamani klasta ya GPU sasa hufanya kazi kwenye kadi moja au kazi ndogo ya wingu. Kizuizi cha gharama kimeanguka. Kizuizi cha uwezo hakijaanguka.

Kwa sababu gharama halisi ya fine-tuning haikuwa kamwe kompyuta. Ni data. Kuchagua mifano machache elfu halisi na bora kutoka kazi yako bora ndiyo kazi ngumu, na mali ambayo washindani wako hawawezi kunakili. Data yako ndiyo shimo lako. Mfumo unazidi kuwa bidhaa ya kawaida.

Utawala ni hali ya kushindwa kimya kimya

Mfumo uliorekebishwa ni mali mpya yenye mzunguko wa maisha. Unaweza kuyumba wakati mfumo wa msingi unasasishwa. Unaweza kukariri data nyeti za mafunzo. Unaweza kusimba kimya kimya sera ya jana. Shughulikia kila fine-tune kama mfumo wa uzalishaji: uliowekwa toleo, uliotathminiwa kabla ya kutolewa, uliotazamwa baadaye, na umilikiwa na timu iliyoteuliwa. Data binafsi inayoingia kwenye seti ya mafunzo hubeba nayo wajibu wako wa faragha. Nchini Australia hiyo ni Sheria ya Faragha; Ulaya, GDPR na Sheria ya AI ya EU. Jenga kwa ukaguzi kabla mdhibiti hajauliza, si baadaye.

CEO anapaswa kufanya nini

Kwanza, acha kufadhili kuabudu miundo na anza kufadhili upangaji wa data. Waagize timu zako kujenga seti safi ya data yenye ubora wa juu kutoka kazi yako bora ya kibinadamu. Mali hiyo huinua thamani. Uchaguzi wa mfumo hushusha.

Pili, dai lango la tathmini. Hakuna mfumo uliorekebishwa unaofikia uzalishaji bila kipimo kinachoonyesha kazi zako halisi na mapitio ya binadamu ya kushindwa kwake. Ikiwa timu yako haiwezi kukuonyesha alama, inatoa tumaini.

Tatu, uliza swali moja katika kila mapitio ya AI: tumejaribu prompting na urejeshaji kwanza? Dai ushahidi kwamba vijimbo vya bei rahisi vimetumiwa kabla ya kuvuta kijimbo cha gharama kubwa.

Orodha ya ukaguzi ya CTO

Unganisha kila hali ya matumizi ya AI na prompting, urejeshaji, au fine-tuning, na uandike kwa nini.

Jenga zana ndogo ya tathmini kabla ya fine-tune yako ya kwanza, si baadaye.

Pendelea urekebishaji wenye ufanisi wa vigezo na uweke toleo kila kiambatanisho kama msimbo.

Weka data binafsi na iliyodhibitiwa nje ya seti za mafunzo isipokuwa idara ya kisheria imeidhinisha.

Teua mmiliki wa kuyumba kwa mfumo kwa kichocheo cha mafunzo upya, si tabia ya mafunzo upya.

Ripoti gharama kwa kazi, si gharama kwa token. Hiyo ndiyo namba ambayo bodi inaweza kuchukulia hatua.

Jambo la kimkakati

Miundo huboreka kupitia mafundisho ya kibinadamu yaliyopangwa. Mashirika hupata AI bora kwa njia ile ile. Washindi hatakuwa makampuni yenye miundo mikubwa zaidi. Watakuwa yale yanayofundisha bora: data safi, tathmini ya kweli, utawala wenye nidhamu. Hii si zoezi la ununuzi. Ni utamaduni wa uhandisi.

Shirika lako liko wapi kwenye safu hiyo: bado lina-prompt, tayari linarejesha, au tayari kufundisha?

Fikiria kwa hisabati. Fanya uhandisi kwa akili. Ongoza kwa kimkakati. Jenga kwa uwajibikaji. Panua kimataifa. Tengeneza thamani halisi ya biashara kupitia akili bandia.

#ArtificialIntelligence #FineTuning #EnterpriseArchitecture #LLM #RAG #AIStrategy #MachineLearning #AIGovernance #CTO #CEO #DigitalTransformation

Ilichapishwa awali kwenye LinkedIn na Keshavan Thiagaraja. Soma asili kwenye LinkedIn. [1]