LLM 网关与语音理解

/llm-gateway/v1/* 转发到 AssemblyAI LLM 网关（https://llm-gateway.assemblyai.com/v1）。LLM 网关需要 AssemblyAI 付费账号。

Chat Completions

OpenAI 兼容格式：

POST /llm-gateway/v1/chat/completions
Authorization: hub-xxxx
Content-Type: application/json

{
  "model": "claude-sonnet-4-6",
  "messages": [{"role": "user", "content": "用三句话总结这段会议内容：..."}],
  "max_tokens": 1000
}

可用模型列表：

GET /llm-gateway/v1/models

由于路径和格式兼容 OpenAI，OpenAI SDK 也可以直接使用：

from openai import OpenAI

client = OpenAI(base_url="http://<hub>:18080/llm-gateway/v1", api_key="hub-xxxx")
r = client.chat.completions.create(model="claude-sonnet-4-6", messages=[{"role": "user", "content": "你好"}])
print(r.choices[0].message.content)

语音理解

对已完成的转写做翻译、说话人识别、自定义格式化等：

POST /llm-gateway/v1/understanding

{
  "transcript_id": "<id>",
  "speech_understanding": {
    "request": {
      "translation": {"target_languages": ["en", "ja"], "formal": true}
    }
  }
}

请求体里带 transcript_id 时，Hub 会把请求发给创建该转写的账号（其它账号查不到它）。

也可以在提交转写时直接带上 speech_understanding 参数，由 AssemblyAI 在转写完成后一并处理。

用量

成功的 POST 请求按响应中的 usage.total_tokens 记为「LLM」用量。