使用本地VLLM部署的千问30B模型无法与模型交互，提示调用OpenAI失败

[ir-st]

背景：
使用本地VLLM部署的千问30B模型，CyberStrikeAI部署在kali虚拟机中，kali本地是可以与模型正常交互。
现象：
在对话内与交互会提示：open ai api 调用提示：执行失败:调用OpenAI失败: openai api error status=400 body=(error(message""auto" tool
choice requires --enable-auto-tool-choice and --tool-call-parser to be set (request id
2026020317580644650088826281689)","type":"BadRequestError","param".:,"code":400
日志：
MCP状态监控页面无统计数据与执行记录
控制台输出：msg：openai chat completion returned non-200， status ：400

[Ed1s0nZ]

以下解决办法问的AI，你试试呢？

解决"调用OpenAI失败"错误

问题在于您使用了tool_choice="auto"，但VLLM服务没有正确配置相关的参数。错误信息明确指出：

"auto" toolchoice requires --enable-auto-tool-choice and --tool-call-parser to be set

解决方案

您需要在启动VLLM服务时添加这两个必要参数：

1. 修改VLLM启动命令，添加--enable-auto-tool-choice和--tool-call-parser参数

例如，启动命令应该类似这样：

python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen-30B \
    --port 8000 \
    --enable-auto-tool-choice \
    --tool-call-parser json

2. 确认参数正确：
   • --enable-auto-tool-choice：启用自动工具选择功能
   • --tool-call-parser：指定工具调用解析器，通常使用json（VLLM默认支持）

为什么会出现这个问题

当您在API调用中设置tool_choice="auto"时，VLLM需要知道如何处理工具调用。如果没有正确设置上述两个参数，VLLM会拒绝请求并返回400错误。