LLM என்றால் என்ன? பெரிய மொழி மாடல்கள் எளிமையாக விளக்கம்
LLM, அதாவது large language model, மொழியைப் புரிந்துகொள்ளவும் உருவாக்கவும் பெரும் அளவிலான உரையில் பயிற்சி பெற்ற ஒரு வகை AI. ஒரு உரை கொடுத்தால், அடுத்து என்ன வர வேண்டும் என்று ஒரு சிறு துண்டாக கணிக்கிறது; அந்த எளிய திறனே கேள்விகளுக்குப் பதில் சொல்லவும், எழுதவும், சுருக்கவும், மொழிபெயர்க்கவும், குறியீடு எழுதவும் போதுமானதாக இருக்கிறது. ChatGPT, Claude மற்றும் Gemini பின்னால் உள்ள மாடல்கள் அனைத்தும் LLM-கள்.
AI கொண்டு உருவாக்கும்போது இது ஏன் முக்கியம்
AI app builder மூலம் உருவாக்கும்போது, நீங்கள் ஒரு LLM-உடன் இரு வழிகளில் வேலை செய்கிறீர்கள். முதலாவது, உருவாக்கும் வேலையைச் செய்வது ஒரு LLM: அது உங்கள் கோரிக்கையைப் படித்து, மாற்றங்களைத் திட்டமிட்டு, குறியீட்டை எழுதுகிறது. இரண்டாவது, உங்கள் app-க்குள்ளேயே ஒரு LLM-ஐ விரும்பலாம் — ஒரு chatbot, ஒரு சுருக்கப் பொத்தான், ஒரு எழுத்து உதவியாளர்.
அடிப்படைகளைப் புரிந்துகொண்டால் இரண்டிலும் உதவும். தெளிவற்ற கோரிக்கையை AI சில சமயம் தவறாகப் புரிந்துகொள்வது ஏன், நம்பிக்கையுடன் தவறான ஒன்றைச் செய்வது ஏன், மிக நீண்ட உரையாடல்களில் முந்தைய விவரங்களை மறப்பது ஏன், AI அம்சங்களைச் சேர்த்தால் ஒவ்வொரு பயன்பாட்டுக்கும் பணம் ஏன் செலவாகிறது என்று இது விளக்கும். கணிதம் தெரிய வேண்டியதில்லை — ஒரு சரியான மனமாதிரி போதும்.
ஒரு அன்றாட உவமை
நம்ப முடியாத அளவு பெரிய நூலகத்தைப் படித்துவிட்டதாக நினையுங்கள் — புத்தகங்கள், இணையதளங்கள், கையேடுகள், குறியீடு, மன்றங்கள். எந்த எழுத்தின் தொடக்கத்தையும் கொடுத்தால் அதை சரியாக முடிக்கும் திறமை அவருக்கு உண்டு. ஒரு மின்னஞ்சலின் தொடக்கத்தைக் கொடுத்தால், உங்கள் தொனியில் அதை முடிப்பார். ஒரு கேள்வி கேட்டால், அந்த மாதிரிக் கேள்விக்குப் பொதுவாக வரும் பதிலை எழுதுவார்.
ஆனால் சரிபார்க்க அவரிடம் குறிப்புகள் இல்லை; அந்த நூலகம் ஒரு குறிப்பிட்ட தேதியில் மூடப்பட்டுவிட்டது. அவர் உண்மைகளைத் தேடுவதில்லை, வடிவங்களை நினைவுகூர்கிறார். பெரும்பாலான நேரம் அந்த வடிவங்கள் சரியாக இருக்கும். சில நேரம் இடைவெளியை, சரியாக ஒலிக்கும் ஆனால் தவறான ஒன்றால், அதே நம்பிக்கையுடன் நிரப்புவார்.
அதுதான் ஒரு LLM: மிக நன்றாகப் படித்த, மிகச் சரளமாக எழுதும் எழுத்தாளர், அசல் நினைவு குறைபாடுடையவர், உள்ளிருக்கும் உண்மைச் சரிபார்ப்பான் இல்லாதவர்.
ஒரு LLM எப்படி வேலை செய்கிறது, எளிய சொற்களில்
- பயிற்சி (Training). மாடலுக்கு பெரும் அளவு உரை காட்டப்படுகிறது; அது தனது பில்லியன் கணக்கான உள் எண்களை (parameters) சரிசெய்து, அடுத்த உரைத் துண்டைக் கணிக்கக் கற்கிறது. பெரும்பாலான LLM-கள் பயன்படுத்தும் வடிவமைப்பு transformer எனப்படுகிறது; 2017-இல் Google ஆய்வாளர்கள் அறிமுகப்படுத்தியது.
- சீரமைப்பு (Tuning). மூல மாடல், அறிவுறுத்தல்களைப் பின்பற்றவும் உரையாடலை நடத்தவும் தீங்கான வெளியீட்டைத் தவிர்க்கவும் சுத்திகரிக்கப்படுகிறது; பெரும்பாலும் மனித கருத்துகளைப் பயன்படுத்தி.
- பயன்படுத்துதல் (Inference). நீங்கள் ஒரு prompt அனுப்பும்போது, மாடல் அதைப் படித்து, ஒவ்வொரு முறையும் முன்பு வந்த அனைத்தையும் கொண்டு ஒரு சாத்தியமான அடுத்த token-ஐத் தேர்ந்தெடுத்து, பதிலை ஒரு நேரத்தில் ஒரு token ஆக உருவாக்குகிறது.
அதற்குள் உண்மைகளின் தரவுத்தளம் இல்லை, நீங்கள் அரட்டையிலிருந்து தொடர்ந்து கற்பதுமில்லை. ஓர் உரையாடலில் அது “தெரிந்திருப்பது” பயிற்சியிலிருந்தோ, இப்போது அதன் முன் இருப்பதிலிருந்தோ மட்டுமே — அதன் context window.
நடைமுறை உதாரணம்: ஒரு வாடிக்கையாளர் பதில்
ஒரு ஆன்லைன் செடிக் கடை வைத்திருப்பதாகவும், ஒரு LLM-இல் இதை ஒட்டுவதாகவும் வைத்துக்கொள்ளுங்கள்:
வாடிக்கையாளர் எழுதுகிறார்: “என் ஆர்டர் #4412 உடைந்த தொட்டியுடன் வந்தது. நீங்கள் என்ன செய்ய முடியும்?” எங்கள் கொள்கை: சேதமடைந்த பொருட்களை புகைப்படத்துடன் 14 நாட்களுக்குள் அனுப்பினால் இலவசமாக மாற்றுகிறோம். நட்பான பதில் எழுது.
இங்கே நடப்பது:
- உரை tokens-ஆகப் பிரிக்கப்படுகிறது, ஒருவேளை நூறு அளவு.
- மாடல் முழு உரையையும் படிக்கிறது: வாடிக்கையாளரின் செய்தி, உங்கள் கொள்கை, உங்கள் அறிவுறுத்தல்.
- அது பதிலை token-token ஆக உருவாக்குகிறது: “வணக்கம்! உங்கள் தொட்டி உடைந்து வந்ததற்கு மிகவும் வருந்துகிறோம்…” மேலும் புகைப்படம் கேட்டு, இலவச மாற்றீட்டைக் குறிப்பிடுகிறது.
இப்போது கொள்கை இல்லாமல் அதே கோரிக்கையைப் பாருங்கள். மாடல் இன்னும் நம்பிக்கையான, நட்பான பதிலை எழுதும் — ஆனால் பணம் திருப்பித் தருவதாகவோ 30 நாள் சாளரம் என்றோ வாக்குறுதி அளிக்கலாம், ஏனெனில் அவை ஆதரவு மின்னஞ்சல்களில் பொதுவான வடிவங்கள். அது ஒரு hallucination; இது LLM பற்றிய மிக நடைமுறைப் பாடத்தைக் காட்டுகிறது: நீங்கள் கொடுக்கும் தகவல் எவ்வளவு சரியோ அவ்வளவுதான் அதன் பதில்களும் சரியாக இருக்கும். நம்பகமான பதில்கள் தேவைப்படும் apps, ஒவ்வொரு முறையும் சரியான மூலப் பொருளை மாடலுக்குக் கொடுக்கின்றன; இதை RAG என்கிறார்கள்.
முக்கிய சொற்களின் விளக்கம்
| சொல் | பொருள் |
|---|---|
| Token | ஒரு உரைத் துண்டு — பெரும்பாலும் ஒரு சொல் அல்லது அதன் பகுதி. வரம்புகளும் விலைகளும் tokens-இல் எண்ணப்படுகின்றன. |
| Context window | மாடல் ஒரே நேரத்தில் கருத்தில் கொள்ளக்கூடிய உரையின் அளவு: உங்கள் prompt, உரையாடல், ஆவணங்கள். |
| Prompt | மாடலுக்கு நீங்கள் கொடுக்கும் உள்ளீடு. prompt engineering என்றால் என்ன பாருங்கள். |
| Parameters | பயிற்சியில் கற்ற உள் எண்கள். அதிகம் என்றால் தானாக சிறந்தது அல்ல. |
| Training data | மாடல் கற்ற உரை. |
| Knowledge cutoff | பயிற்சித் தரவு முடியும் தேதி; அதன் பின் நடந்தவை அதற்குத் தெரியாது, நீங்கள் சொன்னாலன்றி. |
| Hallucination | சரளமான, நம்பிக்கையான, ஆனால் தவறான வெளியீடு. |
| Temperature | வெளியீடு எவ்வளவு வேறுபட்டதாக அல்லது முன்கணிக்கக்கூடியதாக இருக்கும் என்பதற்கான அமைப்பு. |
| Inference | பதில் பெற மாடலை இயக்குவது. பயன்பாட்டுக்கு ஏற்ப நீங்கள் செலுத்துவது இதற்குத்தான். |
| Multimodal | உரை மட்டுமல்லாமல் படங்கள், ஒலி அல்லது பிற உள்ளீடுகளையும் கையாளக்கூடிய மாடல்கள். |
| API | ஒரு app prompt-களை நிரலாக்க வழியில் LLM-க்கு அனுப்பும் வழி. LLM APIs-ஐ எப்படிப் பயன்படுத்துவது பாருங்கள். |
பொதுவான தவறுகளும் தவறான எண்ணங்களும்
- “அது விஷயங்களைத் தேடிப் பார்க்கிறது.” சாதாரண LLM அப்படிச் செய்வதில்லை. சில apps இணையத் தேடல் அல்லது ஆவண மீட்டெடுப்பைச் சேர்க்கின்றன, ஆனால் மாடல் தானே வடிவங்களிலிருந்து உருவாக்குகிறது.
- “உறுதியாகத் தெரிந்தால், சரியாக இருக்கும்.” நம்பிக்கைக்கும் துல்லியத்துக்கும் தொடர்பில்லை. பெயர்கள், எண்கள், தேதிகள், விலைகள் மற்றும் சட்டம் அல்லது மருத்துவம் சார்ந்தவற்றைச் சரிபாருங்கள்.
- “நான் சொன்ன அனைத்தையும் அது நினைவில் வைத்திருக்கிறது.” context window-இல் பொருந்துவது மட்டுமே. மிக நீண்ட உரையாடல்களில் ஆரம்ப விவரங்கள் விழலாம் அல்லது கவனம் குறையலாம். முக்கியமானவற்றை மீண்டும் சொல்லுங்கள்.
- “அது ஒரு மனிதனைப் போல சிந்திக்கிறது.” கடினமான பிரச்சினைகளை ஈர்க்கும் வகையில் பகுத்தறியலாம், ஆனால் அதற்கு இலக்குகளோ நம்பிக்கைகளோ விளைவுகள் பற்றிய விழிப்புணர்வோ இல்லை. அதன் வெளியீட்டை மதிப்பாய்வு செய்ய வேண்டிய வரைவாகக் கருதுங்கள்.
- “பெரியது அல்லது புதியது எப்போதும் சிறந்தது.” எளிய, அதிக அளவிலான பணிக்கு சிறிய, மலிவான, வேகமான மாடலே சரியான தேர்வாக இருக்கலாம்.
- தனிப்பட்ட தரவை சரிபார்க்காமல் அனுப்புவது. வாடிக்கையாளர் தரவை எந்த AI சேவையிலும் ஒட்டும் அல்லது app-இல் சேர்க்கும் முன், வழங்குநரின் தரவுப் பயன்பாடு மற்றும் வைத்திருக்கும் விதிமுறைகளைச் சரிபாருங்கள்.
உங்கள் AI builder-இடம் என்ன கேட்பது
LLM உங்கள் app-ஐ உருவாக்கும்போது:
- “எதையும் மாற்றுவதற்கு முன், நீ என்ன புரிந்துகொண்டாய், என்ன செய்யப் போகிறாய் என்று சொல்.”
- “இதோ சரியான கொள்கை உரை; கற்பனையாக விவரங்களைச் சேர்க்காமல் அப்படியே பயன்படுத்து.”
- “விலைகள் அல்லது தேதிகள் போன்ற உண்மைகளை யூகிக்காதே. இடத்தை விட்டுவிட்டு அவற்றை எனக்குப் பட்டியலிடு.”
LLM உங்கள் app-க்குள் வேண்டுமென்றால்:
- “[சுருக்கு] பொத்தானைச் சேர், அது சேவையகத்திலிருந்து [வழங்குநரின்] API-ஐ அழைக்கட்டும். API key-ஐ ஒரு secret-இல் வை; உலாவியில் ஒருபோதும் வேண்டாம்.”
- “எங்கள் கொள்கைகளுக்குள் பதில்கள் நிற்கும் வகையில் அவற்றை prompt-இல் வை; உறுதியில்லாதபோது ‘தெரியவில்லை’ என்று சொல்லட்டும்.”
- “பதில்களின் நீளத்தை வரம்பிடு; ஒரு பயனர் ஒரு நாளில் செய்யக்கூடிய கோரிக்கைகளின் எண்ணிக்கையையும் வரம்பிடு.”
- “பயன்பாடு பார்க்க ஒவ்வொரு கோரிக்கைக்கும் ஆன செலவைப் பதிவு செய்.”
படிப்படியான வழிகாட்டிக்கு, உங்கள் app-க்கு AI அம்சங்களைச் சேர்ப்பது எப்படி பாருங்கள்.
LLM-களும் Mythex-உம்
Mythex-இன் உருவாக்கும் agent ஒரு LLM-இல் இயங்குகிறது. எல்லோருக்கும் ஒரே Standard agent கிடைக்கும் — மாடல் தேர்வு இல்லை — உருவாக்குவதற்கு Mythex credits பயன்படும். நீங்கள் உருவாக்கும் app-இன் உள்ளே உள்ள AI அம்சங்கள் தனியானவை: OpenAI அல்லது Anthropic போன்ற ஒரு வழங்குநரிடமிருந்து உங்கள் சொந்த API key-ஐக் கொண்டு வந்து, அதை project secret ஆகச் சேர்க்கிறீர்கள்; அந்தப் பயன்பாட்டுக்கு வழங்குநரே நேரடியாக உங்களுக்குக் கட்டணம் வசூலிக்கிறார். உங்கள் app-க்கு AI சேர் ஆவணப் recipe, பயன்படுத்த வேண்டிய prompt-ஐக் காட்டுகிறது.
கேள்விகள்
LLM என்பதன் விரிவாக்கம் என்ன?
LLM என்பது large language model — மொழியைப் புரிந்துகொள்ளவும் உருவாக்கவும் மிகப் பெரும் அளவு உரையில் பயிற்சி பெற்ற AI மாடல். ChatGPT, Claude மற்றும் Gemini பின்னால் உள்ள மாடல்கள் அனைத்தும் LLM-கள்.
ChatGPT ஒரு LLM-ஆ?
ChatGPT என்பது OpenAI-இன் LLM-களின் மேல் கட்டப்பட்ட ஒரு அரட்டைச் app. LLM என்பது உரையை உருவாக்கும் அடிப்படை மாடல்; app அதைச் சுற்றி அரட்டை இடைமுகம், நினைவு அம்சங்கள், கருவிகள் மற்றும் பாதுகாப்பு அடுக்குகளைச் சேர்க்கிறது.
LLM-கள் ஏன் தவறான விஷயங்களை உருவாக்குகின்றன?
ஒரு LLM தரவுத்தளத்தில் உண்மைகளைத் தேடிப் பார்ப்பதில்லை; அது கற்ற வடிவங்களின் அடிப்படையில் மிகப் பொருத்தமான அடுத்த சொற்களை உருவாக்குகிறது. சரியான தகவல் இல்லாதபோது, சரளமாகவும் நம்பிக்கையுடனும் ஆனால் தவறான உரையை உருவாக்கலாம் — இதை hallucination என்கிறார்கள். மூலப் பொருளைக் கொடுத்து அதன் பதில்களைச் சரிபார்ப்பது இந்த ஆபத்தைக் குறைக்கும்.
LLM-கள் என் உரையாடல்களிலிருந்து கற்றுக்கொள்கின்றனவா?
ஓர் உரையாடலின்போது மாடல் மாறுவதில்லை; அதன் context window-இல் உள்ளதை மட்டுமே பார்க்கிறது. உங்கள் உரையாடல்கள் பின்னர் எதிர்கால மாடல்களுக்குப் பயிற்சியாகப் பயன்படுத்தப்படுமா என்பது வழங்குநரின் கொள்கை மற்றும் உங்கள் அமைப்புகளைப் பொறுத்தது; நீங்கள் பயன்படுத்தும் சேவையின் விதிமுறைகளைச் சரிபாருங்கள்.
LLM-இல் token என்றால் என்ன?
Token என்பது மாடல் படிக்கவும் எழுதவும் செய்யும் உரைத் துண்டு — பெரும்பாலும் ஒரு சொல் அல்லது சொல்லின் ஒரு பகுதி. Context வரம்புகளும் API விலைகளும் tokens-இல் அளக்கப்படுகின்றன; அதனால் நீண்ட prompt-களும் பதில்களும் அதிகம் செலவாகும்.