ফাইন টিউনিং-এর মাধ্যমে AI মডেল কীভাবে আরও ভালো হয়: একজন এন্টারপ্রাইজ আর্কিটেক্টের দৃষ্টিভঙ্গি

আজ আপনি যে প্রতিটি চিত্তাকর্ষক AI মডেল ব্যবহার করেন, তার প্রতিটি জীবন শুরু করেছিল একজন জেনারেলিস্ট হিসেবে। মানুষ যেভাবে কাজের হয়ে ওঠে, সেটিও ঠিক সেভাবেই হয়েছে: বিশেষায়িত প্রশিক্ষণের মাধ্যমে। সেই দ্বিতীয় ধাপ, ফাইন টিউনিং, সেখানেই কাঁচা সামর্থ্য নির্ভরযোগ্য ব্যবসায়িক আচরণে পরিণত হয়। বেশিরভাগ উদ্যোগ এটা ভুল বোঝে। অনেকেই এই ভুল বোঝার মূল্য দুইবার দেয়: একবার অপচয় খরচে, আবার হারানো সুবিধায়।

আমি এটি একজন বিক্রেতা হিসেবে নয়, একজন এন্টারপ্রাইজ আর্কিটেক্ট হিসেবে লিখছি। ফাইন টিউনিং কোনো এমন ফিচার নয় যা আপনি কিনে নেন। এটি একটি আর্কিটেকচার সিদ্ধান্ত যার মালিক আপনি।

একটি মডেল আসলে কীভাবে উন্নত হয়

একটি ফ্রন্টিয়ার মডেল স্তরে স্তরে তৈরি হয়, এবং প্রতিটি স্তর একটি ভিন্ন প্রশ্নের উত্তর দেয়।

প্রিট্রেনিং উত্তর দেয়: মডেল কী জানে? মডেল প্রচুর পরিমাণে টেক্সট ও কোড পড়ে এবং ভাষা, যুক্তি ও সফটওয়্যারের প্যাটার্ন শেখে। এই ধাপটি বিশাল, ব্যয়বহুল এবং এটি আপনি নন, মডেল প্রদানকারীরা করেন।

সুপারভাইজড ফাইন টিউনিং উত্তর দেয়: মডেলের কীভাবে আচরণ করা উচিত? প্রদানকারী, এবং পরে উদ্যোগ, মডেলকে ভালো কাজের নির্বাচিত উদাহরণ দেখায়: একটি শক্তিশালী উত্তরের সাথে যুক্ত একটি প্রশ্ন, সঠিক সমাধানের সাথে যুক্ত একটি টিকিট। মডেল টেক্সট পূর্বাভাস দেওয়া থেকে কাজ সম্পাদনের দিকে এগিয়ে যায়।

প্রেফারেন্স অপ্টিমাইজেশন উত্তর দেয়: মানুষ আসলে কোন আচরণ চায়? মানব প্রতিক্রিয়া থেকে শক্তিবৃদ্ধিকারী শেখা (reinforcement learning from human feedback) এবং এর সরল উত্তরসূরি ডাইরেক্ট প্রেফারেন্স অপ্টিমাইজেশনের মতো কৌশলগুলি মডেলকে তুলনার উপর প্রশিক্ষণ দেয়: এই উত্তরটি ওটার চেয়ে ভালো। মানব বিশেষজ্ঞরা কঠিন উদাহরণ তৈরি ও বিচার করেন। মডেল কেবল জ্ঞান নয়, বিচারক্ষমতা শেখে।

মূল্যায়ন উত্তর দেয়: এর কোনোটাই কি সত্য? কঠোর বেঞ্চমার্ক ও মানব পর্যালোচনা পরিমাপ করে মডেল সত্যিই উন্নত হয়েছে নাকি কেবল শুনতে ভালো লাগছে। এটি ছাড়া কোনো গুরুতর ল্যাব শিপ করে না। কোনো গুরুতর উদ্যোগেরও করা উচিত নয়।

প্যাটার্নটি লক্ষ করুন। মডেলরা বড় হওয়ার কারণে ভালো হয় না। তারা ভালো হয় কারণ মানুষ তাদের ক্রমাগত শেখায় ভালো দেখতে কেমন, এবং ক্রমাগত পরীক্ষা করে তারা তা শিখেছে কি না। এটি বিশেষজ্ঞতার একটি সাপ্লাই চেইন, এবং এটি এখন AI অর্থনীতির একটি স্থায়ী বৈশিষ্ট্য।

যে সিদ্ধান্ত বেশিরভাগ উদ্যোগ ভুল করে

এই হলো পদ্ধতিগত সমালোচনা। উদ্যোগগুলি প্রথমে ফাইন টিউনিং-এর দিকে ঝুঁকে কারণ এটি চূড়ান্ত শোনায়, অথচ আর্কিটেকচার সাধারণত বলে এটি সবশেষে আসা উচিত।

প্রম্পট ইঞ্জিনিয়ারিং পরিবর্তন করে আপনি কী জিজ্ঞাসা করেন। ফাইন টিউনিং পরিবর্তন করে মডেল কী। রিট্রিভাল অগমেন্টেড জেনারেশন (RAG) পরিবর্তন করে মডেল কী দেখতে পারে। তিনটি লিভার, তিনটি ভিন্ন সমস্যা।

প্রম্পটিং সেই আচরণের জন্য যা আপনি বর্ণনা করতে পারেন। স্পষ্ট নির্দেশনা ও উদাহরণ সমস্যা সমাধান করলে, আপনার কাজ শেষ, প্রায় শূন্য খরচে, তাৎক্ষণিক উল্টানো যায় এমন সুবিধাসহ।

রিট্রিভাল সেই জ্ঞানের জন্য যা বদলায়। পণ্যের তালিকা, নীতিমালা, কেস আইন, দাম। RAG প্রশ্নের সময় বর্তমান তথ্য আনে, তাই উত্তর সতেজ থাকে এবং একটি উৎসের সাথে সনাক্তযোগ্য থাকে। ফাইন টিউনিং জ্ঞানকে ভেতরে পুড়িয়ে দেয়, যেখানে তা নীরবে পুরনো হয়ে যায়।

ফাইন টিউনিং সেই আচরণের জন্য যা আপনি বর্ণনা করতে পারবেন না। দশ হাজার নথি জুড়ে হাউস স্টাইল। যে ডোমেইন বিচারক্ষমতা বিশেষজ্ঞরা প্রয়োগ করেন কিন্তু পুরোপুরি লিখে ফেলতে পারেন না। বড় পরিমাণে কঠোর আউটপুট ফরম্যাট, যেখানে ছোট প্রম্পট ও ছোট টিউন করা মডেল প্রতি কল খরচ কমায়। এটি দক্ষতা ও সুর শেখায়, তাজা তথ্য নয়।

সৎ ক্রম হলো: আগে প্রম্পটিং, তারপর রিট্রিভাল, যেখানে প্রমাণ দাবি করে সেখানে ফাইন টিউনিং, এবং প্রায়ই তিনটি একসাথে। একটি টিউন করা মডেল যা আপনার ভাষায় কথা বলে, আজকের তথ্য জানে এমন রিট্রিভাল দ্বারা পোষিত, শৃঙ্খলিত প্রম্পট দ্বারা পরিচালিত। সেই ক্রমে আপনি যে পছন্দটি এড়িয়ে যান, তা চক্রবৃদ্ধি সুদের হারসহ প্রযুক্তিগত ঋণ।

অর্থনীতি বদলে গেছে

পাঁচ বছর আগে ফাইন টিউনিং মানে ছিল বিশাল খরচে বিশাল মডেল পুনঃপ্রশিক্ষণ। প্যারামিটার-দক্ষ পদ্ধতিগুলি সেই যুগের অবসান ঘটিয়েছে। LoRA এবং QLoRA-এর মতো কৌশল মূল মডেলকে হিমায়িত রেখে ছোট অ্যাডাপ্টার স্তরগুলিকে প্রশিক্ষণ দেয়, সাধারণত প্যারামিটারের এক শতাংশেরও কম। যেসব ফাইন টিউনের জন্য একসময় GPU ক্লাস্টার লাগত, সেগুলি এখন একটি কার্ড বা একটি মাঝারি ক্লাউড জবে চলে। খরচের বাধা ভেঙে পড়েছে। দক্ষতার বাধা ভাঙেনি।

কারণ ফাইন টিউনিং-এর আসল খরচ কখনোই কম্পিউট ছিল না। তা হলো ডেটা। আপনার সেরা কাজের কয়েক হাজার সত্যিকারের চমৎকার উদাহরণ বাছাই করাই কঠিন অংশ, এবং এটিই সেই সম্পদ যা আপনার প্রতিযোগীরা নকল করতে পারে না। আপনার ডেটাই আপনার পরিখা (moat)। মডেল ক্রমশ একটি পণ্যে (commodity) পরিণত হচ্ছে।

গভর্ন্যান্স হলো নীরব ব্যর্থতার ধরন

টিউন করা মডেল একটি জীবনচক্রসহ নতুন সম্পদ। বেস মডেল হালনাগাদ হলে তা বিচ্যুত হতে পারে (drift)। এটি সংবেদনশীল প্রশিক্ষণ ডেটা মুখস্থ রাখতে পারে। এটি নীরবে গতকালের নীতি কোড করতে পারে। প্রতিটি ফাইন টিউনকে এমনভাবে দেখুন যেমন আপনি একটি প্রোডাকশন সিস্টেমকে দেখেন: সংস্করণযুক্ত, প্রকাশের আগে মূল্যায়নকৃত, প্রকাশের পরে পর্যবেক্ষণকৃত, এবং একটি নামকৃত দলের মালিকানাধীন। ব্যক্তিগত ডেটা প্রশিক্ষণ সেটে প্রবেশ করলে, আপনার গোপনীয়তার বাধ্যবাধকতাও তার সাথে যায়। অস্ট্রেলিয়ায় এর অর্থ প্রাইভেসি অ্যাক্ট; ইউরোপে, GDPR ও EU AI অ্যাক্ট। নিয়ন্ত্রক জিজ্ঞাসা করার আগে নিরীক্ষণের (audit) জন্য নকশা করুন, পরে নয়।

CEO-দের কী করা উচিত

প্রথমত, মডেল পূজায় অর্থায়ন বন্ধ করুন এবং ডেটা বাছাইয়ে অর্থায়ন শুরু করুন। আপনার সেরা মানব কাজ থেকে একটি পরিষ্কার, উচ্চমানের ডেটাসেট তৈরি করতে আপনার দলগুলিকে নির্দেশ দিন। সেই সম্পদের মূল্য বাড়ে। মডেল পছন্দের মূল্য কমে।

দ্বিতীয়ত, একটি মূল্যায়ন ফটক দাবি করুন। আপনার প্রকৃত কাজগুলো প্রতিফলিত করে এমন একটি বেঞ্চমার্ক এবং এর ব্যর্থতার মানব পর্যালোচনা ছাড়া কোনো টিউন করা মডেল প্রোডাকশনে পৌঁছাবে না। আপনার দল যদি আপনাকে কোনো স্কোর দেখাতে না পারে, তারা আশা শিপ করছে।

তৃতীয়ত, প্রতিটি AI পর্যালোচনায় একটি প্রশ্ন জিজ্ঞাসা করুন: আমরা কি আগে প্রম্পটিং ও রিট্রিভাল চেষ্টা করেছি? ব্যয়বহুল লিভার টানার আগে সস্তা লিভারগুলোকে অপর্যাপ্ত প্রমাণ করতে দিন।

CTO চেকলিস্ট

প্রতিটি AI ব্যবহারের ক্ষেত্রকে প্রম্পটিং, রিট্রিভাল বা ফাইন টিউনিং-এর সাথে ম্যাপ করুন এবং কেন তা রেকর্ড করুন।

আপনার প্রথম ফাইন টিউনের পরে নয়, তার আগে একটি ছোট মূল্যায়ন হারনেস (evaluation harness) তৈরি করুন।

প্যারামিটার-দক্ষ টিউনিং পছন্দ করুন এবং প্রতিটি অ্যাডাপ্টারকে কোডের মতো সংস্করণ করুন।

আইনি অনুমোদন না থাকলে ব্যক্তিগত ও নিয়ন্ত্রিত ডেটা প্রশিক্ষণ সেটের বাইরে রাখুন।

পুনঃপ্রশিক্ষণের অভ্যাস নয়, পুনঃপ্রশিক্ষণ ট্রিগারসহ মডেল বিচ্যুতির জন্য একজন মালিক নিয়োগ করুন।

টোকেন প্রতি খরচ নয়, কাজ প্রতি খরচ রিপোর্ট করুন। সেটিই সেই সংখ্যা যা বোর্ড কাজে লাগাতে পারে।

কৌশলগত বিষয়

মডেলরা কাঠামোবদ্ধ মানব শিক্ষার মাধ্যমে ভালো হয়। উদ্যোগগুলোও একইভাবে ভালো AI পায়। বিজয়ীরা সবচেয়ে বড় মডেলওয়ালা কোম্পানি হবে না। তারা হবে সেই কোম্পানি যারা সবচেয়ে ভালো শেখায়: পরিষ্কার ডেটা, সৎ মূল্যায়ন, শৃঙ্খলিত গভর্ন্যান্স। এটি কোনো ক্রয় অনুশীলন নয়। এটি একটি প্রকৌশল সংস্কৃতি।

সেই বক্ররেখায় আপনার সংস্থা কোথায়: এখনও প্রম্পটিং করছে, ইতিমধ্যে রিট্রিভ করছে, নাকি শেখাতে প্রস্তুত?

গাণিতিকভাবে চিন্তা করুন। বুদ্ধিমত্তার সাথে ইঞ্জিনিয়ার করুন। কৌশলগতভাবে নেতৃত্ব দিন। দায়িত্বের সাথে তৈরি করুন। বিশ্বব্যাপী সম্প্রসারণ করুন। কৃত্রিম বুদ্ধিমত্তার মাধ্যমে প্রকৃত ব্যবসায়িক মূল্য তৈরি করুন।

#ArtificialIntelligence #FineTuning #EnterpriseArchitecture #LLM #RAG #AIStrategy #MachineLearning #AIGovernance #CTO #CEO #DigitalTransformation

মূলত LinkedIn-এ কেশবন থিয়াগরাজা কর্তৃক প্রকাশিত। মূলটি LinkedIn-এ পড়ুন। [1]