എന്താണ് LLM? വലിയ ഭാഷാ മോഡലുകൾ ലളിതമായി വിശദീകരിക്കുന്നു

LLM അഥവാ large language model എന്നത് വലിയ അളവിലുള്ള ടെക്സ്റ്റിൽ പരിശീലിപ്പിച്ച ഒരു തരം AI ആണ്, അതുവഴി അതിന് ഭാഷ മനസ്സിലാക്കാനും സൃഷ്ടിക്കാനും കഴിയുന്നു. ഒരു ടെക്സ്റ്റ് നൽകുമ്പോൾ, അടുത്തതായി എന്ത് വരണമെന്ന് ഒരു ചെറിയ ഭാഗം വീതം പ്രവചിക്കുന്നു, ആ ലളിതമായ കഴിവ് ചോദ്യങ്ങൾക്ക് ഉത്തരം നൽകാനും എഴുതാനും സംഗ്രഹിക്കാനും വിവർത്തനം ചെയ്യാനും കോഡ് എഴുതാനും മതിയാകുന്നു. ChatGPT, Claude, Gemini എന്നിവയ്ക്ക് പിന്നിലുള്ള മോഡലുകളെല്ലാം LLM-കളാണ്.

AI ഉപയോഗിച്ച് നിർമ്മിക്കുമ്പോൾ ഇത് പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്

ഒരു AI ആപ്പ് ബിൽഡർ ഉപയോഗിക്കുമ്പോൾ, നിങ്ങൾ രണ്ട് തവണ ഒരു LLM-നോടൊപ്പമാണ് പ്രവർത്തിക്കുന്നത്. ആദ്യം, നിർമ്മിക്കുന്നത് ഒരു LLM ആണ്: അത് നിങ്ങളുടെ അഭ്യർത്ഥന വായിക്കുന്നു, മാറ്റങ്ങൾ ആസൂത്രണം ചെയ്യുന്നു, കോഡ് എഴുതുന്നു. രണ്ടാമതായി, നിങ്ങളുടെ ആപ്പിനുള്ളിൽ ഒരു LLM വേണമെന്ന് ആഗ്രഹിച്ചേക്കാം — ഒരു ചാറ്റ്ബോട്ട്, ഒരു സംഗ്രഹ ബട്ടൺ, ഒരു എഴുത്ത് സഹായി.

അടിസ്ഥാനങ്ങൾ മനസ്സിലാക്കുന്നത് രണ്ട് സാഹചര്യങ്ങളിലും സഹായിക്കുന്നു. അവ്യക്തമായ അഭ്യർത്ഥനയെ AI എന്തുകൊണ്ട് തെറ്റിദ്ധരിക്കുന്നു, ആത്മവിശ്വാസത്തോടെ തെറ്റായ എന്തെങ്കിലും എന്തുകൊണ്ട് ഉണ്ടാക്കാം, നീണ്ട സംഭാഷണങ്ങളിൽ മുമ്പത്തെ വിവരങ്ങൾ എന്തുകൊണ്ട് നഷ്ടപ്പെടാം, ആപ്പിൽ AI ഫീച്ചറുകൾ ചേർക്കുമ്പോൾ ഓരോ ഉപയോഗത്തിനും പണം ചെലവാകുന്നത് എന്തുകൊണ്ട് എന്നിവ ഇത് വിശദീകരിക്കുന്നു. ഗണിതം അറിയേണ്ടതില്ല — ശരിയായ ഒരു മാനസിക മാതൃക മതി.

ഒരു ദൈനംദിന ഉപമ

സങ്കൽപ്പിക്കുക, അളവറ്റ വലിപ്പമുള്ള ഒരു ലൈബ്രറി വായിച്ചുതീർത്ത ഒരാളെ — പുസ്തകങ്ങൾ, വെബ്സൈറ്റുകൾ, മാനുവലുകൾ, കോഡ്, ഫോറങ്ങൾ — ഏത് എഴുത്തും അതിന് യോജിക്കുന്ന രീതിയിൽ തുടരാൻ അസാധാരണമായി മിടുക്കനായ ഒരാൾ. ഒരു ഇമെയിലിന്റെ തുടക്കം കൊടുത്താൽ നിങ്ങളുടെ ശൈലിയിൽ അത് പൂർത്തിയാക്കും. ഒരു ചോദ്യം ചോദിച്ചാൽ, അത്തരം ചോദ്യത്തിന് സാധാരണ വരുന്ന തരം ഉത്തരം എഴുതും.

പക്ഷേ അവർക്ക് പരിശോധിക്കാൻ നോട്ടുകളില്ല, ലൈബ്രറി ഒരു നിശ്ചിത തീയതിയിൽ അടച്ചു. അവർ വസ്തുതകൾ നോക്കുകയല്ല, പാറ്റേണുകൾ ഓർത്തെടുക്കുകയാണ്. മിക്കപ്പോഴും പാറ്റേണുകൾ ശരിയാകും. ചിലപ്പോൾ വിടവ് നികത്തുന്നത് ശരിയെന്ന് തോന്നിക്കുന്ന എന്തെങ്കിലും കൊണ്ടാകും, അതേ ആത്മവിശ്വാസത്തോടെ.

അതാണ് ഒരു LLM: വളരെ വായിച്ച, വളരെ ഒഴുക്കുള്ള ഒരു എഴുത്തുകാരൻ, അപൂർണ്ണമായ ഓർമ്മയും അന്തർനിർമ്മിത വസ്തുതാപരിശോധകനില്ലാത്തതും.

LLM പ്രവർത്തിക്കുന്നത് ലളിതമായി എങ്ങനെ

1. പരിശീലനം. മോഡലിന് വലിയ അളവിൽ ടെക്സ്റ്റ് കാണിക്കുന്നു, ബില്യൺ കണക്കിന് ആന്തരിക സംഖ്യകൾ (അതിന്റെ പാരാമീറ്ററുകൾ) ക്രമീകരിച്ച് അടുത്ത ടെക്സ്റ്റ് ഭാഗം പ്രവചിക്കാൻ പഠിക്കുന്നു. മിക്ക LLM-കളും ഉപയോഗിക്കുന്ന രൂപകൽപ്പനയെ ട്രാൻസ്ഫോർമർ എന്ന് വിളിക്കുന്നു, 2017-ൽ Google ഗവേഷകർ അവതരിപ്പിച്ചത്.
2. ട്യൂണിംഗ്. അസംസ്കൃത മോഡൽ പിന്നീട് നിർദ്ദേശങ്ങൾ പിന്തുടരാനും സംഭാഷണം നടത്താനും ദോഷകരമായ ഔട്ട്പുട്ട് ഒഴിവാക്കാനും പരിഷ്കരിക്കപ്പെടുന്നു, പലപ്പോഴും മനുഷ്യരുടെ ഫീഡ്ബാക്ക് ഉപയോഗിച്ച്.
3. ഉപയോഗിക്കൽ (ഇൻഫറൻസ്). നിങ്ങൾ ഒരു പ്രോംപ്റ്റ് അയക്കുമ്പോൾ, മോഡൽ അത് വായിച്ച് ഒരു ടോക്കൺ വീതം മറുപടി സൃഷ്ടിക്കുന്നു, ഓരോ തവണയും മുമ്പുള്ളതെല്ലാം കണക്കിലെടുത്ത് സാധ്യതയുള്ള അടുത്ത ടോക്കൺ തിരഞ്ഞെടുക്കുന്നു.

അതിനുള്ളിൽ വസ്തുതകളുടെ ഡാറ്റാബേസ് ഇല്ല, നിങ്ങളുടെ ചാറ്റിൽ നിന്ന് പഠിച്ചുകൊണ്ടിരിക്കുന്നതുമില്ല. ഒരു സംഭാഷണത്തിൽ അത് "അറിയുന്ന" എല്ലാം പരിശീലനത്തിൽ നിന്നോ ഇപ്പോൾ മുന്നിലുള്ളതിൽ നിന്നോ ആണ് — അതിന്റെ context window.

ഒരു ഉദാഹരണം: ഒരു സപ്പോർട്ട് മറുപടി

നിങ്ങൾ ഒരു ഓൺലൈൻ ചെടിക്കട നടത്തുന്നു എന്ന് കരുതുക, ഒരു LLM-ലേക്ക് ഇത് ഒട്ടിക്കുന്നു:

ഒരു ഉപഭോക്താവ് എഴുതുന്നു: "എന്റെ ഓർഡർ #4412 പൊട്ടിയ ചട്ടിയോടെ എത്തി. നിങ്ങൾക്ക് എന്ത് ചെയ്യാനാകും?" ഞങ്ങളുടെ നയം: കേടായ സാധനങ്ങൾ ഉപഭോക്താവ് ഒരു ഫോട്ടോ അയച്ചാൽ 14 ദിവസത്തിനകം സൗജന്യമായി മാറ്റിനൽകുന്നു. സൗഹൃദപരമായ ഒരു മറുപടി എഴുതുക.

ഇവിടെ സംഭവിക്കുന്നത് ഇതാണ്:

• ടെക്സ്റ്റ് ടോക്കണുകളായി വിഭജിക്കുന്നു, ഒരുപക്ഷേ നൂറോളം.
• മോഡൽ മുഴുവൻ വായിക്കുന്നു: ഉപഭോക്താവിന്റെ സന്ദേശം, നിങ്ങളുടെ നയം, നിങ്ങളുടെ നിർദ്ദേശം.
• ഒരു ടോക്കൺ വീതം മറുപടി സൃഷ്ടിക്കുന്നു: "ഹായ്! ചട്ടി പൊട്ടിയെത്തിയതിൽ വളരെ ഖേദമുണ്ട്…" എന്നും ഫോട്ടോ ആവശ്യപ്പെടുന്നതും സൗജന്യ മാറ്റത്തെക്കുറിച്ച് പറയുന്നതും.

ഇനി നയം ഇല്ലാതെ അതേ അഭ്യർത്ഥന നോക്കുക. മോഡൽ ഇപ്പോഴും ആത്മവിശ്വാസമുള്ള, സൗഹൃദപരമായ ഒരു മറുപടി എഴുതും — പക്ഷേ റീഫണ്ട് വാഗ്ദാനം ചെയ്തേക്കാം, അല്ലെങ്കിൽ 30 ദിവസത്തെ വിൻഡോ, കാരണം അവ സപ്പോർട്ട് ഇമെയിലുകളിൽ അത് കണ്ടിട്ടുള്ള സാധാരണ പാറ്റേണുകളാണ്. അതാണ് hallucination, അത് LLM-കളെക്കുറിച്ചുള്ള ഏറ്റവും പ്രായോഗികമായ പാഠം കാണിക്കുന്നു: നിങ്ങൾ നൽകുന്ന വിവരം പോലെ മാത്രമേ അവ കൃത്യമാകൂ. വിശ്വസനീയമായ ഉത്തരങ്ങൾ വേണ്ട ആപ്പുകൾ ഓരോ തവണയും ശരിയായ ഉറവിട മെറ്റീരിയൽ മോഡലിന് നൽകുന്നു, RAG എന്ന സാങ്കേതികവിദ്യയിലൂടെ.

പ്രധാന പദങ്ങൾ വിശദീകരിക്കുന്നു

സാധാരണ തെറ്റുകളും തെറ്റിദ്ധാരണകളും

• "അത് കാര്യങ്ങൾ നോക്കിയെടുക്കുന്നു." സാധാരണ LLM അങ്ങനെ ചെയ്യുന്നില്ല. ചില ആപ്പുകൾ വെബ് സെർച്ചോ ഡോക്യുമെന്റ് വീണ്ടെടുക്കലോ ചേർക്കാറുണ്ട്, പക്ഷേ മോഡൽ തന്നെ പാറ്റേണുകളിൽ നിന്നാണ് സൃഷ്ടിക്കുന്നത്.
• "ഉറപ്പുള്ള പോലെ തോന്നിയാൽ ശരിയാണ്." ആത്മവിശ്വാസവും കൃത്യതയും തമ്മിൽ ബന്ധമില്ല. പേരുകൾ, സംഖ്യകൾ, തീയതികൾ, വിലകൾ, നിയമപരമോ വൈദ്യശാസ്ത്രപരമോ ആയ എന്തും പരിശോധിക്കുക.
• "ഞാൻ പറഞ്ഞതെല്ലാം അത് ഓർക്കുന്നു." context window-യിൽ ഒതുങ്ങുന്നത് മാത്രം. വളരെ നീണ്ട സംഭാഷണങ്ങളിൽ ആദ്യകാല വിശദാംശങ്ങൾ മാഞ്ഞുപോകുകയോ ശ്രദ്ധ കുറയുകയോ ചെയ്യാം. പ്രധാനമായവ വീണ്ടും പറയുക.
• "അത് ഒരു മനുഷ്യനെപ്പോലെ ചിന്തിക്കുന്നു." പ്രശ്നങ്ങൾ മികച്ച രീതിയിൽ യുക്തിപരമായി വിശകലനം ചെയ്യാൻ കഴിയും, പക്ഷേ അതിന് ലക്ഷ്യങ്ങളോ വിശ്വാസങ്ങളോ പ്രത്യാഘാതങ്ങളെക്കുറിച്ചുള്ള ബോധമോ ഇല്ല. അതിന്റെ ഔട്ട്പുട്ട് പരിശോധിക്കേണ്ട ഒരു കരടായി കാണുക.
• "വലുതോ പുതിയതോ എപ്പോഴും മികച്ചത്." ലളിതമായ, ഉയർന്ന അളവിലുള്ള ജോലിക്ക് ചെറിയതും വിലകുറഞ്ഞതും വേഗമുള്ളതുമായ മോഡൽ പലപ്പോഴും ശരിയായ തിരഞ്ഞെടുപ്പാണ്.
• പരിശോധിക്കാതെ സ്വകാര്യ ഡാറ്റ അയക്കൽ. ഏതെങ്കിലും AI സേവനത്തിൽ ഉപഭോക്തൃ ഡാറ്റ ഒട്ടിക്കുന്നതിനോ ആപ്പിൽ ഉൾപ്പെടുത്തുന്നതിനോ മുമ്പ്, ദാതാവിന്റെ ഡാറ്റാ ഉപയോഗ, സൂക്ഷിപ്പ് നിബന്ധനകൾ പരിശോധിക്കുക.

നിങ്ങളുടെ AI ബിൽഡറിനോട് എന്ത് ആവശ്യപ്പെടണം

LLM നിങ്ങളുടെ ആപ്പ് നിർമ്മിക്കുമ്പോൾ:

• "എന്തെങ്കിലും മാറ്റുന്നതിനു മുമ്പ്, നിങ്ങൾ എന്ത് മനസ്സിലാക്കി, എന്ത് ചെയ്യും എന്ന് പറയുക."
• "ഇതാ കൃത്യമായ നയ വാചകം; വിശദാംശങ്ങൾ കണ്ടുപിടിക്കാതെ അത് വാക്കുവാക്കായി ഉപയോഗിക്കുക."
• "വില അല്ലെങ്കിൽ തീയതി പോലുള്ള വസ്തുതകൾ ഊഹിക്കരുത്. ഒരു പ്ലേസ്ഹോൾഡർ ഇട്ട് അവ എനിക്ക് പട്ടികപ്പെടുത്തുക."

LLM നിങ്ങളുടെ ആപ്പിനുള്ളിൽ വേണമെങ്കിൽ:

• "[സംഗ്രഹിക്കുക] ബട്ടൺ ചേർക്കുക, അത് സെർവറിൽ നിന്ന് [ദാതാവിന്റെ] API വിളിക്കട്ടെ. API കീ ഒരു സീക്രട്ടായി സൂക്ഷിക്കുക, ഒരിക്കലും ബ്രൗസറിൽ വേണ്ട."
• "ഉത്തരങ്ങൾ ഞങ്ങളുടെ നയങ്ങളോട് ചേർന്നുനിൽക്കാൻ അവ പ്രോംപ്റ്റിൽ ഇടുക, ഉറപ്പില്ലാത്തപ്പോൾ 'എനിക്കറിയില്ല' എന്ന് പറയണം."
• "ഉത്തരങ്ങളുടെ ദൈർഘ്യം പരിമിതപ്പെടുത്തുക, ഒരു ഉപയോക്താവിന് ദിവസം എത്ര അഭ്യർത്ഥനകൾ നടത്താമെന്ന് പരിധിയിടുക."
• "ഓരോ അഭ്യർത്ഥനയ്ക്കും എത്ര ചെലവായി എന്ന് രേഖപ്പെടുത്തുക, ഉപയോഗം എനിക്ക് കാണാൻ കഴിയാൻ."

ഘട്ടം ഘട്ടമായുള്ള വഴികാട്ടിക്ക്, നിങ്ങളുടെ ആപ്പിലേക്ക് AI ഫീച്ചറുകൾ ചേർക്കുന്നത് എങ്ങനെ കാണുക.

LLM-കളും Mythex-ഉം

Mythex-ന്റെ നിർമ്മാണ ഏജന്റ് ഒരു LLM-ൽ പ്രവർത്തിക്കുന്നു. എല്ലാവർക്കും ഒരേ Standard ഏജന്റ് ലഭിക്കുന്നു — മോഡൽ തിരഞ്ഞെടുപ്പ് ഇല്ല — നിർമ്മാണത്തിന് Mythex ക്രെഡിറ്റുകൾ ഉപയോഗിക്കുന്നു. നിങ്ങൾ നിർമ്മിക്കുന്ന ആപ്പിനുള്ളിലെ AI ഫീച്ചറുകൾ വേറെയാണ്: OpenAI അല്ലെങ്കിൽ Anthropic പോലുള്ള ഒരു ദാതാവിൽ നിന്നുള്ള സ്വന്തം API കീ നിങ്ങൾ കൊണ്ടുവരുന്നു, അത് ഒരു പ്രോജക്റ്റ് സീക്രട്ടായി സൂക്ഷിക്കുന്നു, ആ ഉപയോഗത്തിന് ദാതാവ് നേരിട്ട് ബിൽ ചെയ്യുന്നു. ഡോക്സ് റെസിപ്പിയായ നിങ്ങളുടെ ആപ്പിലേക്ക് AI ചേർക്കുക ഉപയോഗിക്കേണ്ട പ്രോംപ്റ്റ് കാണിക്കുന്നു.

ചോദ്യങ്ങൾ