Yadda Samfuran AI Ke Haɓakawa Ta Fine-Tuning: Ra'ayin Injiniyan Ginin Kamfani

Kowane ƙarfin samfurin AI da kuke amfani da shi yau yana fara rayuwarsa a matsayin mai baki daya. Yana zama mai amfani ta hanyar da mutane ke zama masu amfani: ta hanyar horo mai ma'ana. Wannan mataki na biyu, fine-tuning, shi ne inda ƙarfin da ba a sarraf ba ya canzawa zuwa halayyar ƙwararru da za a iya amfani da ita. Yawancin kamfanoni suna fahimtarsa ba daidai ba. Da yawa suna biyan wannan kuskuren fahimta sau biyu: sau daya a cikin kuɗin da aka yi asara da kuma sake maimaita a cikin amfanin da aka rasa.

Ba a matsayin mai sayarwa nake rubuta wannan ba, a matsayin injiniyan ginin kamfani ne. Fine-tuning ba abu ne da za ku saya ba. Shawara ce ta gini da kuke ɗaukan mallakarta da kanku.

Yadda samfuri ke haɓakawa da gaske

Ana gina samfuran frontier a matakai, kuma kowane mataki yana amsa tambaya dabam.

Horo na farko yana amsa: me samfurin ya sani? Samfurin yana karanta rubutu da lamba masu yawa kuma yana koyan tsarin harshe, hujja, da software. Wannan mataki yana da girma, yana da tsada, kuma masu samar da samfurori ne ke yinsa, ba ku ba.

Fine-tuning mai kulawa yana amsa: yaya ya kamata samfurin ya yi? Masu samarwa, sannan kamfanoni, suna nuna wa samfurin zaɓaɓɓun misalan aiki mai kyau: tambaya da aka hada da amsa mai ƙarfi, tikiti da aka hada da mafita daidai. Samfurin yana komawa daga ƙimanin rubutu zuwa yin aiki.

Inganta zaɓi yana amsa: wane halin mutum yake so da gaske? Fasahohi kamar koyon ƙarfafawa daga ra'ayin mutum da magajinsa mai sauƙi wato inganta zaɓi kai tsaye, suna horar da samfurin a kan kwatanta: wannan amsa ta fi waccan kyau. Ƙwararrun mutane suna shirya da hukunta misalai masu wahala. Samfurin yana koyon hikima, ba ilimi kawai ba.

Kimantawa tana amsa: akwai wani daga cikin wannan da ke da gaskiya? Ma'auni masu ƙarfi da duba mutum suna aunawa ko samfurin ya haɓaka da gaske ko ya kuma bayyana da kyau kawai. Ba tare da su ba, babu wani dakin gwaje-gwaje mai muhimmanci da zai fitar. Babu wani kamfani mai muhimmanci da ya kamata ma.

Ku lura da tsarin. Samfura ba su haɓaka saboda suna girma. Suna haɓaka saboda mutane suna ci gaba da koya musu yadda kyau yake, kuma suna ci gaba da gwadawa ko sun koya. Wannan shi ne sarkar samarwa ta ƙwarewa, kuma yanzu ita ce halin da yake dawwama na tattalin arzikin AI.

Shawarar da yawancin kamfanoni ke samun kuskure

Wannan sukar tsari ce. Kamfanoni suna juya zuwa fine-tuning da farko saboda tana bayyana mai mahimmanci, alhali ginin sau da yawa yana cewa ya kamata ta zo ta ƙarshe.

Injiniyan prompt yana canza abin da kuke tambaya. Fine-tuning tana canza abin da samfurin yake. RAG tana canza abin da samfurin zai iya gani. Kafafu uku, matsaloli uku dabam-dabam.

Prompting na halin da kuke iya bayanawa ne. Idan bayanai masu haske da misalai suna warware matsalar, kun gama, a farashi kusan sifili da juyawa nan take.

Binciko na ilimin da ke canzawa ne. Jerin kayayyaki, manufofi, dokar shari'a, farashi. RAG tana kawo gaskiyar yanzu a lokacin tambaya, don haka amsar tana kasancewa sabo kuma an ɗaure ta da tushe. Fine-tuning tana gasa ilimi a ciki, inda yake tsufa a hankali.

Fine-tuning na halin da ba za ku iya bayanawa ba. Salo na gida a kan takardun dubu goma. Hikimar fanni da ƙwararru ke amfani da ita amma ba za su iya rubuta ta gaba ɗaya ba. Tsarin fitarwa masu ƙarfi a kan girma, inda ƙananan prompt da ƙananan samfura da aka daidaita ke rage kudin kowace kira. Tana koya ƙwarewa da sautin murya, ba gaskiya sabo ba.

Tsarin gaskiya shi ne: prompting da farko, binciko daga baya, fine-tuning inda shaida ke buƙata, kuma sau da yawa dukansu uku tare. Samfuri da aka daidaita wanda ke magana harshenku, wanda binciko da ya san gaskiyar yau ke ciyar da shi, wanda prompt masu tsari ke tafiyar da shi. Kowane zaɓin da kuka tsallake a wannan tsari bashi ne na fasaha mai bunƙasa riba.

Tattalin arziki ya canza

Shekaru biyar da suka wuce, fine-tuning tana nufin sake horar da manyan samfura da babbar kudi. Hanyoyin da ke amfani da sigogi kaɗan sun ƙare wannan zamani. Fasahohi kamar LoRA da QLoRA suna daskare samfurin asali kuma suna horar da ƙananan sassan adapter, yawanci ƙasa da kashi daya cikin ɗari na sigogi. Fine-tune da a dā ke buƙatar taron GPU yanzu tana aiki a kan kati ɗaya ko aiki ɗan kaɗan na cloud. Shingen farashi ya faɗi. Shingen ƙwarewa bai faɗi ba.

Domin farashin fine-tuning na gaskiya ba ya taɗa kasancewa lissafi ba. Bayanai ne. Zaɓan dubban misalai na gaskiya masu kyau daga mafi kyawun aikinku shi ne aikin wahala, kuma dukiyar da abokan hamayyarku ba za su iya kwafa ba. Bayananku su ne ganuarku. Samfurin yana ƙara zama abu na kasuwa gama gari.

Gudanarwa ita ce hanyar gazawa a shiru

Samfurin da aka daidaita sabuwar dukiya ce mai daurin rayuwa. Zai iya karkata lokacin da aka sabunta samfurin asali. Zai iya tunan bayanan horo masu sirri. Zai iya ɓoye manufar jiya a hankali. Ku bi da kowace fine-tune kamar yadda kuke bi da tsarin samarwa: mai siga, an kimanta shi kafin a fitar, ana sa ido bayan fitarwa, kuma tawaga da aka nada ce ta mallake shi. Bayanan sirri da suka shiga cikin saitin horo suna ɗauke da hakkokin sirrinku tare. A Ostiraliya wannan Doka ta Sirri ce; a Turai, GDPR da Dokar AI ta Tarayyar Turai. Ku gina don bincike kafin mai tsaro ya tambaya, ba bayan ba.

Abin da shugabannin kamfani ya kamata su yi

Da farko, ku daina tallafawa bautar samfura kuma ku fara tallafawa zaɓin bayanai. Ku umarci ƙungiyoyinku su gina saitin bayanai mai tsabta da inganci daga mafi kyawun aikin mutum. Wannan dukiya tana ɗaga daraja. Zaɓin samfuri yana sauƙaƙe ta.

Na biyu, ku nemi ƙofar kimantawa. Babu samfurin da aka daidaita da zai isa samarwa ba tare da ma'aunin da ke nuna ayyukanku na gaskiya da duba mutum na gazawarsa ba. Idan tawagarku ba za ta iya nuna muku maki ba, tana fitar da fata.

Na uku, ku yi tambaya ɗaya a kowace duba ta AI: shin mun gwada prompting da binciko da farko? Ku nemi shaidar cewa an gama kafafu masu sauƙi kafin a ja na tsada.

Jerin duba na CTO

Ku danganta kowane hali na amfani da AI zuwa prompting, binciko, ko fine-tuning, kuma ku rubuta dalilin.

Ku gina ƙaramin kayan aikin kimantawa kafin fine-tune ɗinku na farko, ba bayan ba.

Ku fi son daidaitawa mai amfani da sigogi kaɗan kuma ku sanya siga kowane adapter kamar lamba.

Ku riƙe bayanan sirri da waɗanda ake kula da su a wajen saitunan horo sai idan sashen doka ya amince.

Ku nada mai mallaka don karkatar samfuri tare da abin farawa na sake horo, ba halin sake horo ba.

Ku ba da rahoton kuɗin aiki, ba kuɗin token ba. Wannan ita ce lambar da hukumar zai iya yin aiki da ita.

Muhimmancin dabara

Samfura suna haɓakawa ta hanyar koyarwar mutum da aka tsara. Kamfanoni suna samun AI mafi kyau ta hanya ɗaya. Masu nasara ba za su kasance kamfanoni masu manyan samfura ba. Za su kasance waɗanda ke koyarwa mafi kyau: bayanai masu tsabta, kimantawa ta gaskiya, gudanarwa mai tsari. Wannan ba motsa jiki na sayayya ba ne. Al'adar injiniya ce.

Ina kamfaninku yake a kan wannan layin: har yanzu yana prompting, tuni yana binciko, ko a shirye yake ya koya?

Ku yi tunani a hanya lissafi. Ku yi injiniya a hankali. Ku shugabanta a dabara. Ku gina a alhakin da za ku ɗauka. Ku faɗaɗa a duniya. Ku ƙirƙira ƙimar kasuwanci ta gaskiya ta hanyar hankali na wucin gadi.

#ArtificialIntelligence #FineTuning #EnterpriseArchitecture #LLM #RAG #AIStrategy #MachineLearning #AIGovernance #CTO #CEO #DigitalTransformation

Da farko aka buga a LinkedIn daga Keshavan Thiagaraja. Ku karanta ainihin a LinkedIn. [1]