Skip to content

API最大长度超过导致程序奔溃 #52

@ngyygm

Description

@ngyygm

在调用自己部署的API时,模型最大长度如果小于18000可能会报错。
个人使用的时候,显示系统传输的token数在16384,我设定的是16000最大长度,然后我改成320000就能正常跑了。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions