GFLOPS 生成AI HUB

Token

大規模言語モデルのトークンリミットとは?

トークンリミット(Token Limit)とは? トークンリミットとは、LLMが一度に処理できるトークンの数に対する制限のことです。トークンは、単語やフレーズ、その他のテキストの一部を表す単位です。例えば、「I love you.」というフレーズは、「I」、「love」、「you」、「.」、「 」の5つのトークンで構成されます。 トークンリミットの重要性 トークンリミットは、LLMの性能に影響を与 […]