启动 RunPod 无服务器端点 | AI生成和翻译

首页 2026.07

问题:当 RunPod Serverless vLLM 端点显示 0 个运行中的工作进程0 个进行中的任务0 个队列中等待的任务 时,我该如何实际启动它?

回答:

这种状态是 正常的。RunPod Serverless 采用 按需缩容至零 机制。

0 个运行中的工作进程
0 个任务

意味着出现问题。它表示:

其生命周期如下:

创建端点
        │
        ▼
0 个工作进程(空闲)
        │
        ▼
发送第一个请求
        │
        ▼
RunPod 分配 GPU
        │
        ▼
下载模型
        │
        ▼
启动 vLLM
        │
        ▼
处理请求
        │
        ▼
返回结果
        │
        ▼
空闲超时后
        │
        ▼
工作进程再次关闭

选项一 — 使用 RunPod UI(最简单)

打开您的端点:

请求

使用类似以下内容:

{
  "input": {
    "prompt": "Hello"
  }
}

点击 运行

队列将变为

1 个等待中

然后变为

1 个运行中

接着您会看到

1 个工作进程

在执行过程中。首个请求可能需要几分钟时间,因为 RunPod 必须配置 GPU 并下载模型。(Runpod 文档)


选项二 — 使用 curl

curl -X POST \
  https://api.runpod.ai/v2/<ENDPOINT_ID>/runsync \
  -H "Authorization: Bearer <RUNPOD_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
        "input": {
          "prompt": "Hello"
        }
      }'

这个单独的请求会自动启动一个工作进程。(Runpod 文档)


选项三 — 兼容 OpenAI 的 API

在工作进程运行后,vLLM 模板也会暴露一个兼容 OpenAI 的 API,因此您可以将 OpenAI SDK 或 LiteLLM/OpenWebUI 指向它。(Runpod 文档)


如果工作进程始终为 0

那么说明存在问题。请检查:


由于您一直在 RunPod 上尝试 SGLangvLLM,我建议先发送一个简单的 runsync 请求。如果您提供:

我通常可以在一分钟内识别启动问题。

参考:


AI生成和翻译,但整理分享仍需精力。如果觉得有帮助,欢迎 捐助支持。 微信:@lzwjavaWeChat QR · X: @lzwjava · 打个招呼 👋

返回 捐助