LLM কী? বড় ভাষা মডেল সহজ ভাষায়
LLM, বা large language model, এমন এক ধরনের AI যা বিপুল পরিমাণ টেক্সটের ওপর প্রশিক্ষিত, যাতে সে ভাষা বুঝতে ও তৈরি করতে পারে। কিছু টেক্সট দিলে সে একটু একটু করে পরের অংশ অনুমান করে, এবং এই সহজ ক্ষমতাই প্রশ্নের উত্তর দিতে, লিখতে, সারসংক্ষেপ করতে, অনুবাদ করতে ও কোড লিখতে যথেষ্ট প্রমাণিত হয়েছে। ChatGPT, Claude ও Gemini-এর পেছনের মডেলগুলো সবই LLM।
AI দিয়ে তৈরির সময় কেন এটি গুরুত্বপূর্ণ
AI app builder দিয়ে কাজ করলে আপনি দুভাবে একটি LLM-এর সঙ্গে কাজ করছেন। প্রথমত, একটি LLM-ই বানাচ্ছে: সে আপনার অনুরোধ পড়ে, পরিবর্তনের পরিকল্পনা করে এবং কোড লেখে। দ্বিতীয়ত, আপনি হয়তো চান আপনার অ্যাপের ভেতরেও একটি LLM থাকুক — একটি চ্যাটবট, একটি সারসংক্ষেপ বোতাম, একটি লেখার সহকারী।
মৌলিক বিষয়গুলো জানলে উভয় ক্ষেত্রেই সুবিধা। এটি ব্যাখ্যা করে কেন অস্পষ্ট অনুরোধে AI কখনও কখনও ভুল বোঝে, কেন সে আত্মবিশ্বাসের সঙ্গে ভুল কিছু লিখতে পারে, কেন দীর্ঘ কথোপকথনে আগের তথ্য হারিয়ে যেতে পারে, এবং কেন অ্যাপে AI ফিচার যোগ করলে প্রতি ব্যবহারে খরচ হয়। গণিত জানার দরকার নেই — শুধু একটি সঠিক মানসিক মডেল দরকার।
একটি দৈনন্দিন উদাহরণ
কল্পনা করুন এমন একজন, যিনি অবিশ্বাস্যভাবে বিশাল একটি লাইব্রেরির বই পড়েছেন — বই, ওয়েবসাইট, ম্যানুয়াল, কোড, ফোরাম। আর তিনি যেকোনো লেখার শুরু দেখে তা এমনভাবে শেষ করতে অসাধারণ পারেন যা মানানসই হয়। একটি ইমেইলের শুরু দিলে আপনার সুরে শেষ করেন। একটি প্রশ্ন করলে সেই ধরনের প্রশ্নের পরে সাধারণত যে ধরনের উত্তর আসে, সেই উত্তর লেখেন।
কিন্তু তার যাচাই করার কোনো নোট নেই, আর লাইব্রেরি একটি নির্দিষ্ট তারিখে বন্ধ হয়েছে। তিনি তথ্য খুঁজে বের করছেন না, প্যাটার্ন স্মরণ করছেন। বেশিরভাগ সময় প্যাটার্ন ঠিক থাকে। কখনও কখনও ফাঁক পূরণ করেন এমন কিছু দিয়ে যা শুধু ঠিক শোনায়, ঠিক একই আত্মবিশ্বাসে।
এটাই একটি LLM: অত্যন্ত পড়ুয়া, অত্যন্ত সাবলীল লেখক, অসম্পূর্ণ স্মৃতি এবং কোনো অন্তর্নির্মিত তথ্য-যাচাইকারী ছাড়া।
একটি LLM কীভাবে কাজ করে, সহজ ভাষায়
- প্রশিক্ষণ। মডেলকে বিপুল টেক্সট দেখানো হয়, এবং সে তার অভ্যন্তরীণ সংখ্যা (parameters) বিলিয়ন বার সামঞ্জস্য করে পরের টেক্সট অনুমান করতে শেখে। বেশিরভাগ LLM যে ডিজাইন ব্যবহার করে তার নাম transformer, যা Google-এর গবেষকরা ২০১৭ সালে প্রবর্তন করেন।
- টিউনিং। কাঁচা মডেলটিকে নির্দেশ অনুসরণ, কথোপকথন ধরে রাখা এবং ক্ষতিকর আউটপুট এড়াতে পরিমার্জন করা হয়, প্রায়ই মানুষের মতামত ব্যবহার করে।
- ব্যবহার (inference)। আপনি একটি প্রম্পট পাঠালে মডেল সেটি পড়ে এবং একবারে একটি টোকেন করে উত্তর তৈরি করে, প্রতিবার আগের সবকিছু বিবেচনা করে সম্ভাব্য পরের টোকেন বেছে নিয়ে।
এর ভেতরে তথ্যের কোনো ডেটাবেস নেই, এবং আপনার চ্যাট থেকে সে ক্রমাগত শেখে না। একটি কথোপকথনে সে যা “জানে” তা হয় প্রশিক্ষণ থেকে, নয়তো এখন তার সামনে যা আছে — তার প্রসঙ্গ উইন্ডো।
একটি বাস্তব উদাহরণ: একটি সহায়তা উত্তর
ধরুন আপনার একটি অনলাইন গাছের দোকান আছে, এবং আপনি একটি LLM-এ এটি পেস্ট করেন:
একজন গ্রাহক লিখেছেন: “আমার অর্ডার #4412 একটি ভাঙা টব নিয়ে এসেছে। আপনারা কী করতে পারেন?” আমাদের নীতি: ক্ষতিগ্রস্ত পণ্য ১৪ দিনের মধ্যে গ্রাহক ছবি পাঠালে বিনামূল্যে বদলে দিই। একটি বন্ধুত্বপূর্ণ উত্তর লিখুন।
এখানে যা ঘটে:
- লেখাটি টোকেনে ভাগ হয়, সম্ভবত একশোর কাছাকাছি।
- মডেল পুরোটা পড়ে: গ্রাহকের বার্তা, আপনার নীতি এবং আপনার নির্দেশ।
- সে টোকেন ধরে ধরে উত্তর তৈরি করে: “হ্যালো! আপনার টব ভাঙা অবস্থায় পৌঁছানোর জন্য দুঃখিত…” এবং বিনামূল্যে বদলের কথা উল্লেখ করে একটি ছবি চায়।
এখন একই অনুরোধ নীতি ছাড়া চেষ্টা করুন। মডেল তবুও একটি আত্মবিশ্বাসী, বন্ধুত্বপূর্ণ উত্তর লিখবে — কিন্তু হয়তো রিফান্ডের প্রতিশ্রুতি দেবে, বা ৩০ দিনের সময়সীমা বলবে, কারণ এগুলো তার দেখা সাপোর্ট ইমেইলে সাধারণ প্যাটার্ন। এটাই hallucination, এবং এটি LLM সম্পর্কে সবচেয়ে ব্যবহারিক শিক্ষাটি দেখায়: তাকে যে তথ্য দেওয়া হয় তার চেয়ে বেশি নির্ভুল সে হতে পারে না। যে অ্যাপের নির্ভরযোগ্য উত্তর দরকার, তারা প্রতিবার মডেলকে সঠিক উৎস উপাদান দেয়, এই কৌশলকে বলে RAG।
মূল শব্দের ব্যাখ্যা
| শব্দ | অর্থ |
|---|---|
| Token | টেক্সটের একটি অংশ — প্রায়ই একটি শব্দ বা শব্দের অংশ। সীমা ও দাম টোকেনে গোনা হয়। |
| Context window | মডেল একবারে কতটা টেক্সট বিবেচনা করতে পারে: আপনার প্রম্পট, কথোপকথন ও যেকোনো নথি। |
| Prompt | মডেলকে আপনার দেওয়া ইনপুট। দেখুন প্রম্পট ইঞ্জিনিয়ারিং কী। |
| Parameters | প্রশিক্ষণে শেখা অভ্যন্তরীণ সংখ্যা। বেশি মানেই স্বয়ংক্রিয়ভাবে ভালো নয়। |
| Training data | মডেল যে টেক্সট থেকে শিখেছে। |
| Knowledge cutoff | যে তারিখের পরের প্রশিক্ষণ-ডেটা মডেলের নেই, তাই সাম্প্রতিক ঘটনা না বললে সে জানে না। |
| Hallucination | সাবলীল, আত্মবিশ্বাসী কিন্তু মিথ্যা আউটপুট। |
| Temperature | আউটপুট কতটা বৈচিত্র্যময় বা অনুমানযোগ্য হবে তার সেটিং। |
| Inference | উত্তর পেতে মডেল চালানো। প্রতি ব্যবহারে যার জন্য টাকা দেন। |
| Multimodal | যে মডেল শুধু টেক্সট নয়, ছবি, অডিও বা অন্য ইনপুটও নিতে পারে। |
| API | অ্যাপ কীভাবে প্রোগ্রাম করে LLM-এ প্রম্পট পাঠায়। দেখুন LLM API কীভাবে ব্যবহার করবেন। |
সাধারণ ভুল ও ভুল ধারণা
- “এটি তথ্য খুঁজে দেখে।” সাধারণ LLM তা করে না। কিছু অ্যাপ ওয়েব অনুসন্ধান বা নথি উদ্ধার যোগ করে, কিন্তু মডেলটি নিজে প্যাটার্ন থেকে তৈরি করে।
- “নিশ্চিত শোনালে নিশ্চয়ই ঠিক।” আত্মবিশ্বাস ও সঠিকতা সম্পর্কহীন। নাম, সংখ্যা, তারিখ, দাম এবং আইনি বা চিকিৎসা সংক্রান্ত যেকোনো কিছু যাচাই করুন।
- “আমি যা বলেছি সব সে মনে রাখে।” শুধু প্রসঙ্গ উইন্ডোতে যা ধরে। খুব দীর্ঘ কথোপকথনে আগের বিবরণ বাদ পড়তে বা কম গুরুত্ব পেতে পারে। যা গুরুত্বপূর্ণ তা আবার বলুন।
- “এটি মানুষের মতো ভাবে।” সমস্যা সমাধানে এটি চমকপ্রদ যুক্তি দিতে পারে, কিন্তু তার কোনো লক্ষ্য, বিশ্বাস বা পরিণতি সম্পর্কে সচেতনতা নেই। তার আউটপুটকে একটি খসড়া হিসেবে দেখুন, যা পর্যালোচনা করতে হবে।
- “বড় বা নতুন মানেই সবসময় ভালো।” সরল, বিপুল-পরিমাণ কাজে ছোট, সস্তা, দ্রুত মডেলই অনেক সময় সঠিক পছন্দ।
- যাচাই না করে ব্যক্তিগত ডেটা পাঠানো। কোনো AI সেবায় গ্রাহকের ডেটা পেস্ট করার বা অ্যাপে ঢোকানোর আগে প্রোভাইডারের ডেটা ব্যবহার ও সংরক্ষণের শর্ত দেখুন।
আপনার AI builder-কে কী চাইবেন
যখন LLM আপনার অ্যাপ বানাচ্ছে:
- “কিছু বদলানোর আগে বলো তুমি কী বুঝেছ এবং কী করবে।”
- “এই নীতির সঠিক লেখাটি ব্যবহার করো; বিবরণ বানিও না।”
- “দাম বা তারিখের মতো তথ্য অনুমান করো না। একটি প্লেসহোল্ডার রেখে আমার জন্য তালিকা করো।”
যখন আপনি আপনার অ্যাপের ভেতরে একটি LLM চান:
- “একটি [সারসংক্ষেপ] বোতাম যোগ করো যা সার্ভার থেকে [প্রোভাইডার]-এর API কল করে। API কী সিক্রেটে রাখো, কখনও ব্রাউজারে নয়।”
- “আমাদের নীতিগুলো প্রম্পটে রাখো যাতে উত্তর সেগুলোর মধ্যে থাকে, এবং নিশ্চিত না হলে ‘জানি না’ বলো।”
- “উত্তরের দৈর্ঘ্য সীমিত করো, এবং প্রতিটি ব্যবহারকারী প্রতিদিন কতগুলো অনুরোধ করতে পারবে তা সীমা দাও।”
- “প্রতিটি অনুরোধের খরচ লগ করো, যাতে আমি ব্যবহার দেখতে পারি।”
ধাপে ধাপে নির্দেশনার জন্য দেখুন কীভাবে আপনার অ্যাপে AI ফিচার যোগ করবেন।
LLM এবং Mythex
Mythex-এর বিল্ডিং এজেন্ট একটি LLM-এ চলে। সবাই একই Standard এজেন্ট পায় — কোনো মডেল বাছাইয়ের অপশন নেই — এবং বানানোর জন্য Mythex ক্রেডিট ব্যবহার হয়। আপনি যে অ্যাপটি বানান তার ভেতরের AI ফিচার আলাদা: আপনি OpenAI বা Anthropic-এর মতো প্রোভাইডারের নিজস্ব API কী আনেন, সেটি একটি প্রকল্প সিক্রেট হিসেবে সংরক্ষণ করেন, এবং ওই ব্যবহারের জন্য প্রোভাইডার সরাসরি আপনাকে বিল করে। ডকুমেন্টেশনের আপনার অ্যাপে AI যোগ করা রেসিপিতে ব্যবহারের প্রম্পট দেখানো আছে।
প্রশ্নোত্তর
LLM-এর পূর্ণরূপ কী?
LLM মানে large language model, অর্থাৎ বিপুল পরিমাণ টেক্সটে প্রশিক্ষিত একটি AI মডেল, যা ভাষা বুঝতে ও তৈরি করতে পারে। ChatGPT, Claude ও Gemini-এর পেছনের মডেলগুলো সবই LLM।
ChatGPT কি একটি LLM?
ChatGPT হলো OpenAI-এর LLM-এর ওপর তৈরি একটি চ্যাট অ্যাপ। LLM হলো মূল মডেল যা টেক্সট তৈরি করে; অ্যাপ এর চারপাশে চ্যাট ইন্টারফেস, মেমোরি ফিচার, টুল ও নিরাপত্তা স্তর যোগ করে।
LLM কেন জিনিস বানিয়ে বলে?
LLM শেখা প্যাটার্ন থেকে সবচেয়ে সম্ভাব্য পরের শব্দগুলো তৈরি করে, কোনো ডেটাবেস থেকে তথ্য খুঁজে নিয়ে নয়। প্রয়োজনীয় তথ্য না থাকলে সে সাবলীল ও আত্মবিশ্বাসী কিন্তু ভুল লেখা তৈরি করতে পারে, যাকে hallucination বলা হয়। উৎস উপাদান দিলে এবং উত্তর যাচাই করলে ঝুঁকি কমে।
LLM কি আমার কথোপকথন থেকে শেখে?
একটি কথোপকথনের সময় মডেল বদলায় না; সে শুধু তার প্রসঙ্গ উইন্ডোতে যা আছে তা দেখে। আপনার কথোপকথন পরে ভবিষ্যৎ মডেল প্রশিক্ষণে ব্যবহার হবে কি না, তা নির্ভর করে প্রোভাইডারের নীতি ও আপনার সেটিংসের ওপর — আপনি যে সেবা ব্যবহার করছেন তার শর্ত দেখুন।
LLM-এ টোকেন কী?
টোকেন হলো টেক্সটের একটি অংশ, যা মডেল পড়ে ও লেখে — প্রায়ই একটি শব্দ বা শব্দের অংশ। প্রসঙ্গ সীমা ও API দাম টোকেনে মাপা হয়, তাই দীর্ঘ প্রম্পট ও উত্তরের খরচ বেশি।