接口描述

流式文本在线合成基于websocket协议，可以将输入的文本合成为二进制格式的语音数据。与发起多次短文本语音合成相比，可以获得更高的实时性，在用户输入文本的同时就能接近同步的返回合成音频数据，达到“边合成边播放”的效果。

申请试用

本接口处于邀测阶段，该接口在正式使用之前，请先提交合作咨询，或者提交工单，提供公司名称、cloudID、应用场景，工作人员协助开通权限后方可使用。

功能说明

• 建议文本不超过2000 GBK字节，即1000个汉字或者字母数字；
• 输入的文本必须采用UTF-8编码；
• 支持多音字通过标注自行定义发音。格式如：重(chong2)报集团。

接口调用主流程

交互流程

握手建立连接

连接请求

握手阶段，客户端主动发起 websocket 连接请求

请求地址

请求地址：wss://aip.baidubce.com/ws/2.0/speech/publiccloudspeech/v1/tts

请求参数

URL中放置请求参数，参数如下：

请求示例

1curl --location 'wss://aip.baidubce.com/ws/2.0/speech/publiccloudspeech/v1/tts?access_token=xxx&per=xxx'

连接响应

如果握手成功，会返回 101状态码，表示协议握手成功；如果握手失败，则根据不同错误类型返回不同 http status，详细说明如下：
成功：状态码101 Switching Protocols
失败：错误码及描述如下

示例

1429 Too Many Requests
2
3{
4    "code": 276001,
5    "message": "Rate limit exceeded error"
6}

参数说明

初始化

握手成功后客户端和服务端会建立websocket连接，客户端通过websocket连接可以同时上传和接收数据。

客户端请求参数

• 帧类型（Opcode）：Text
• 序列化方式：JSON

示例

1{
2    "type": "system.start",
3    "payload": {
4        "spd": 5,
5        "pid": 5,
6        "vol": 5,
7        "audio_ctrl": "{\"sampling_rate\":16000}",
8        "aue": 3
9    }
10}

参数说明

payload 字段说明

服务端响应

• 帧类型（Opcode）：Text
• 序列化方式：JSON

正常响应

• 服务端对客户端「开始合成」的响应

  • code 等于 0：表示通道各个参数已经设置完成；
  • code 不等于 0：表示通道参数设置有误，服务端会断开所有ws连接。

示例

1{
2    "type": "system.started",
3    "code": 0,
4    "message": "success",
5    "headers": {
6        "session_id": "xxx"
7               }
8}

参数说明

异常响应

示例

1{
2    "type": "system.started",
3    "code": 216100,
4    "message": "语速参数错误, 请输入0-15的整数",
5    "headers": {
6        "session_id": "xxx"
7               }
8}

异常响应列表

不响应

• 已经发送过开始合成

发送文本

客户端请求

• 帧类型：Text
• 序列化方式：JSON

示例

1{
2    "type": "text",
3    "payload": {
4        "text": "需要进行语音合成的文字"
5    }
6}

参数说明

payload 字段说明

服务端响应

正常响应

1WebSocket opcode`：`binary
2WebSocket消息体：音频二进制数据

异常响应

示例

1{
2    "type": "system.error",
3    "code": 216103,
4    "message": "文本过长, 请控制在1000字以内",
5    "headers": {
6        "session_id": "xxx"
7    }
8}

异常响应列表-文本限制说明

1. 单次发送文本不超过1000汉字，若超过，下发提示帧【文本过长，请控制在1000字以内】
2. 未处理文本长度超过10000汉字后不处理新增文本，下发提示帧【当前待处理文本过长，请稍后发送】

不响应

• 未发送开始合成就发送文本
• 已经发送结束合成仍发送文本
• 发送文本信息无内容
• 发送文本信息无标点隔断，server等待标点或字符数变多再进行合成

结束合成

客户端请求

• 帧类型（Opcode）：Text
• 序列化方式：JSON

正常响应

• 表示客户端没有文本需要合成了，客户端要求服务端立即合成所有缓存的文本；

• 注意事项：

  • 由于流式文本语音合成接口，服务端会分句合成音频，所以服务端会缓存客户端的文本，客户端需要再没有文本合成时，立刻发送此消息，否则可能丢失文本。
  • 客户端发送此消息后，服务端不在接收任何客户端后续请求。

示例

1{
2    "type":"system.finish",
3}

参数说明

服务端响应

• 帧类型：Text
• 序列化方式：JSON

正常响应

• 服务端对客户端「合成结束」的响应，表示服务端已经完成所有文本的合成，且所有音频数据下发完毕。

示例

1{
2    "type":"system.finished",
3    "code": 0,
4    "message": "success",
5}

参数说明

异常响应

暂无

不响应

• 文本未合成完成，合成结束后会响应结束

断开连接

正常断开

服务端响应结束合成后，会主动断开连接

异常断开

客户端超过一分钟不发送消息，服务端会异常断开连接

DEMO

python

TTS-ws-demo