फाइन ट्यूनिंगद्वारे AI मॉडेल्स चांगले कसे होतात: एका एंटरप्राइझ आर्किटेक्टचे मत

आज तुम्ही वापरत असलेले प्रत्येक प्रभावी AI मॉडेल आयुष्याची सुरुवात एका जनरलिस्ट म्हणून करते. ते लोक उपयुक्त होतात त्याच प्रकारे उपयुक्त बनते: विशेष प्रशिक्षणाद्वारे. तो दुसरा टप्पा, फाइन ट्यूनिंग, ही ती जागा जिथे कच्ची क्षमता विश्वासार्ह व्यावसायिक वर्तनात बदलते. बहुतेक उद्योग ती चुकीने समजतात. अनेक या गैरसमजासाठी दोनदा किंमत चुकवतात: एकदा वाया खर्चात आणि पुन्हा सुटलेल्या फायद्यात.

मी हे विक्रेता म्हणून नव्हे, तर एंटरप्राइझ आर्किटेक्ट म्हणून लिहित आहे. फाइन ट्यूनिंग हे तुम्ही विकत घेणारे वैशिष्ट्य नाही. हा तुम्ही मालकी घेतलेला आर्किटेक्चर निर्णय आहे.

मॉडेल प्रत्यक्षात कसे सुधारते

फ्रंटियर मॉडेल स्तरांमध्ये तयार केले जाते आणि प्रत्येक स्तर वेगळ्या प्रश्नाचे उत्तर देतो.

प्रीट्रेनिंग उत्तर देते: मॉडेलला काय माहीत आहे? मॉडेल प्रचंड प्रमाणात मजकूर व कोड वाचते आणि भाषा, तर्कशास्त्र व सॉफ्टवेअरच्या नमुन्यांचे शिक्षण घेते. हा टप्पा प्रचंड, महाग आहे आणि तो तुम्ही नव्हे, तर मॉडेल पुरवठादार करतात.

सुपरवाइज्ड फाइन ट्यूनिंग उत्तर देते: मॉडेलने कसे वागावे? पुरवठादार आणि नंतर उद्योग, मॉडेलला चांगल्या कामाचे निवडलेले उदाहरण दाखवतो: मजबूत उत्तराशी जोडलेला प्रश्न, योग्य उपायाशी जोडलेले तिकीट. मॉडेल मजकुराचा अंदाज लावण्यापासून कामे करण्याकडे सरकते.

प्रेफरन्स ऑप्टिमायझेशन उत्तर देते: मनुष्याला प्रत्यक्षात कोणते वर्तन हवे? मानवी अभिप्रायावर आधारित बळकटीकरण शिक्षण (reinforcement learning from human feedback) आणि त्याचा सोपा वारसा डायरेक्ट प्रेफरन्स ऑप्टिमायझेशन अशा तंत्रे मॉडेलला तुलनांवर प्रशिक्षित करतात: हे उत्तर त्या उत्तरापेक्षा चांगले. मानवी तज्ज्ञ कठीण उदाहरणे तयार करतात आणि मूल्यमापन करतात. मॉडेल फक्त ज्ञान नव्हे, तर विवेक शिकते.

मूल्यमापन उत्तर देते: यापैकी काही खरे आहे का? कडक बेंचमार्क आणि मानवी पुनरावलोकन मोजते की मॉडेल खरोखर सुधारले की फक्त चांगले वाटू लागले. त्याशिवाय कोणतीही गंभीर प्रयोगशाळा शिप करत नाही. कोणत्याही गंभीर उद्योगानेही करू नये.

नमुना लक्षात घ्या. मॉडेल्स वाढतात म्हणून चांगले होत नाहीत. चांगले कसे दिसते हे मनुष्य त्यांना सतत शिकवत राहतो आणि त्यांनी ते शिकलो का याची सतत चाचणी घेतो म्हणून ते चांगले होतात. ही कौशल्याची पुरवठा साखळी आहे आणि ती आता AI अर्थव्यवस्थेचे कायमचे वैशिष्ट्य आहे.

बहुतेक उद्योग चुकीचा निर्णय घेतात

ही पद्धतशीर टीका आहे. उद्योग प्रथम फाइन ट्यूनिंगकडे वळतात कारण ती निर्णायक वाटते, तेव्हा आर्किटेक्चर बहुतेकदा सांगते की ती शेवटी यायला हवी.

प्रॉम्प्ट इंजिनिअरिंग बदलते तुम्ही काय विचारता ते. फाइन ट्यूनिंग बदलते मॉडेल काय आहे ते. रिट्रीव्हल ऑगमेंटेड जनरेशन (RAG) बदलते मॉडेल काय पाहू शकते ते. तीन लीव्हर्स, तीन वेगळ्या समस्या.

प्रॉम्प्टिंग अशा वर्तनासाठी आहे जे तुम्ही वर्णन करू शकता. स्पष्ट सूचना आणि उदाहरणे समस्या सोडवत असतील तर तुमचे काम संपले, जवळजवळ शून्य खर्चात, त्वरित उलट करण्याच्या क्षमतेसह.

रिट्रीव्हल बदलणाऱ्या ज्ञानासाठी आहे. उत्पादन सूची, धोरणे, खटला कायदा, किंमती. RAG प्रश्नाच्या वेळी चालू तथ्ये आणते, त्यामुळे उत्तर ताजे राहते आणि स्रोताशी जोडलेले राहते. फाइन ट्यूनिंग ज्ञान आत बेक करते, जिथे ते शांतपणे जुने होते.

फाइन ट्यूनिंग अशा वर्तनासाठी आहे जे तुम्ही वर्णन करू शकत नाही. दहा हजार दस्तऐवजांमधील घरची शैली. तज्ज्ञ लागू करतात पण पूर्णपणे लिहू शकत नाहीत असा डोमेन विवेक. जास्त प्रमाणात कडक आउटपुट स्वरूप, जिथे लहान प्रॉम्प्ट आणि लहान ट्यून केलेली मॉडेल्स प्रति कॉल खर्च कमी करतात. ती कौशल्ये आणि टोन शिकवते, ताजी तथ्ये नाही.

प्रामाणिक क्रम असा आहे: आधी प्रॉम्प्टिंग, नंतर रिट्रीव्हल, जिथे पुरावा मागतो तिथे फाइन ट्यूनिंग आणि बहुधा तिन्ही एकत्र. तुमची भाषा बोलणारे ट्यून केलेले मॉडेल, आजची तथ्ये जाणणाऱ्या रिट्रीव्हलने खाद्य घातलेले, शिस्तबद्ध प्रॉम्प्टने चालवलेले. त्या क्रमात तुम्ही वगळता ती प्रत्येक निवड चक्रवाढ व्याजदर असलेले तांत्रिक कर्ज आहे.

अर्थव्यवस्था बदलली आहे

पाच वर्षांपूर्वी फाइन ट्यूनिंग म्हणजे प्रचंड खर्चात विशाल मॉडेल्स पुन्हा प्रशिक्षित करणे. पॅरामीटर-कार्यक्षम पद्धतींनी तो युग संपवला. LoRA आणि QLoRA सारखी तंत्रे मूळ मॉडेल गोठवून छोटे अॅडाप्टर स्तर प्रशिक्षित करतात, साधारणतः पॅरामीटरच्या एक टक्क्याहूनही कमी. ज्या फाइन ट्यूनसाठी कधी GPU क्लस्टर लागत होता, ते आता एका कार्डवर किंवा मध्यम क्लाउड जॉबवर चालतात. खर्चाची अडथळा पडली. क्षमतेची अडथळा पडली नाही.

कारण फाइन ट्यूनिंगचा खरा खर्च कधीही संगणन (compute) नव्हता. तो डेटा आहे. तुमच्या सर्वोत्तम कामाची खरोखर उत्कृष्ट काही हजार उदाहरणे निवडणे हेच कठीण काम आहे आणि तोच तुमच्या स्पर्धकांना नकल करता येत नसलेला मालमत्ता आहे. तुमचा डेटाच तुमचा खंदक (moat) आहे. मॉडेल अधिकाधिक एक कमोडिटी बनत आहे.

गव्हर्नन्स ही शांत अपयशाची पद्धत आहे

ट्यून केलेले मॉडेल जीवनचक्र असलेली नवी मालमत्ता आहे. बेस मॉडेल अपडेट झाल्यावर ते विचलित होऊ शकते (drift). ते संवेदनशील प्रशिक्षण डेटा पाठ करू शकते. ते कालचे धोरण शांतपणे एनकोड करू शकते. प्रत्येक फाइन ट्यूनशी उत्पादन प्रणालीशी वागता तसे वागा: आवृत्तीबद्ध, प्रकाशनाआधी मूल्यमापित, प्रकाशनानंतर देखरेखीत आणि नामांकित संघाच्या मालकीचे. वैयक्तिक डेटा प्रशिक्षण संचात गेल्यास तुमच्या गोपनीयता जबाबदाऱ्या त्याच्यासोबत जातात. ऑस्ट्रेलियात म्हणजे गोपनीयता कायदा; युरोपात, GDPR आणि EU AI कायदा. नियामक विचारण्यापूर्वी लेखापरीक्षणासाठी (audit) रचना करा, नंतर नाही.

CEO ने काय करावे

पहिले, मॉडेल पूजेला निधी देणे थांबवा आणि डेटा निवडीला निधी देणे सुरू करा. तुमच्या सर्वोत्तम मानवी कामातून एक स्वच्छ, उच्च दर्जाचा डेटासेट तयार करण्यासाठी तुमच्या संघांना सूचना द्या. ती मालमत्ता कौतुक वाढवते. मॉडेल निवडी मूल्य घटवतात.

दुसरे, मूल्यमापन दरवाजा मागा. तुमच्या खऱ्या कामांचे प्रतिबिंब पाडणारा बेंचमार्क आणि त्याच्या अपयशांचे मानवी पुनरावलोकन न करता कोणतेही ट्यून केलेले मॉडेल उत्पादनात येऊ नये. तुमचा संघ तुम्हाला गुण दाखवू शकत नसेल तर ते आशा शिप करत आहेत.

तिसरे, प्रत्येक AI पुनरावलोकनात एक प्रश्न विचारा: आम्ही आधी प्रॉम्प्टिंग आणि रिट्रीव्हल वापरून पाहिले का? महाग लीव्हर खेचण्याआधी स्वस्त लीव्हर्स अपुरे पडतात हे सिद्ध करू द्या.

CTO चेकलिस्ट

प्रत्येक AI वापर प्रकरण प्रॉम्प्टिंग, रिट्रीव्हल किंवा फाइन ट्यूनिंगशी जुळवा आणि का ते नोंदवा.

तुमच्या पहिल्या फाइन ट्यूननंतर नव्हे, तर आधीच छोटे मूल्यमापन उपकरण (evaluation harness) उभे करा.

पॅरामीटर-कार्यक्षम ट्यूनिंगला प्राधान्य द्या आणि प्रत्येक अॅडाप्टरला कोडसारखे आवृत्तीबद्ध करा.

कायदेशीर विभागाने मंजूर केल्याशिवाय वैयक्तिक आणि नियंत्रित डेटा प्रशिक्षण संचांबाहेर ठेवा.

पुन्हा प्रशिक्षणाची सवय नव्हे, तर पुन्हा प्रशिक्षण ट्रिगरसह मॉडेल विचलनासाठी (drift) मालक नेमा.

टोकन प्रति खर्च नव्हे, काम प्रति खर्च नोंदवा. बोर्ड ज्या आकड्यावर कारवाई करू शकते तो तोच.

धोरणात्मक मुद्दा

मॉडेल्स संरचित मानवी शिकवणीद्वारे चांगले होतात. उद्योगांना त्याच प्रकारे चांगले AI मिळते. विजेते सर्वात मोठी मॉडेल्स असलेल्या कंपन्या नसतील. त्या सर्वोत्तम शिकवणाऱ्या कंपन्या असतील: स्वच्छ डेटा, प्रामाणिक मूल्यमापन, शिस्तबद्ध गव्हर्नन्स. हा खरेदीचा व्यायाम नाही. ही अभियांत्रिकी संस्कृती आहे.

त्या वक्रावर तुमची संस्था कोठे आहे: अजून प्रॉम्प्टिंग करत आहे, आधीच रिट्रीव्ह करत आहे, की शिकवायला तयार आहे?

गणितीयदृष्ट्या विचार करा. हुशारीने अभियांत्रिकी करा. धोरणात्मकरीत्या नेतृत्व करा. जबाबदारीने बांधा. जागतिक पातळीवर विस्तार करा. कृत्रिम बुद्धिमत्तेद्वारे खरी व्यावसायिक किंमत निर्माण करा.

#ArtificialIntelligence #FineTuning #EnterpriseArchitecture #LLM #RAG #AIStrategy #MachineLearning #AIGovernance #CTO #CEO #DigitalTransformation

मूळतः LinkedIn वर केशवन थियागराजा यांनी प्रकाशित केले. मूळ LinkedIn वर वाचा. [1]