सोप्या भाषेत
हा शब्द म्हणजे काय?
Model prompt आणि output tokens मध्ये मोजते. वेगवेगळ्या भाषांमध्ये आणि tokenizers मध्ये एकाच शब्दासाठी token count वेगळा असू शकतो.
Familiar example
सोपं उदाहरण
वाक्याची सुरुवात, शब्दाचा भाग आणि punctuation हे वेगवेगळे tokens होऊ शकतात.
Analogy
ओळखीच्या उदाहरणातून
मोठे वाक्य छोटे Lego blocks मध्ये विभागल्यासारखे.
एक महत्त्वाची मर्यादा
गैरसमज टाळा
एक token म्हणजे एक अक्षर किंवा एक शब्द असा सार्वत्रिक नियम नाही.
Remember
हे लक्षात ठेवा
LLM text tokens मध्ये वाचते आणि तयार करते.
Trusted references