1pip install 'qianfan[dataset_base]'

1[{"prompt": "请根据下面的新闻生成摘要, 内容如下:新华社受权于18日全文播发修改后的《中华人民共和国立法法》，修改后的立法法分为“总则”“法律”“行政法规”“地方性法规、自治条例和单行条例、规章”“适用与备案审查”“附则”等6章，共计105条。\n生成摘要如下:"}]
2[{"prompt": "请根据下面的新闻生成摘要, 内容如下:一辆小轿车，一名女司机，竟造成9死24伤。日前，深圳市交警局对事故进行通报：从目前证据看，事故系司机超速行驶且操作不当导致。目前24名伤员已有6名治愈出院，其余正接受治疗，预计事故赔偿费或超一千万元。\n生成摘要如下:"}]

1[
2    {"prompt": "地球的自转周期是多久？", "response": "大约24小时"},
3    {"prompt": "人类的基本单位是什么？", "response": "人类"}
4]

1人体最重要的有机物质是什么？
2化学中PH值用来表示什么？
3第一个登上月球的人是谁？

1import os
2
3os.environ['QIANFAN_ENABLE_STRESS_TEST'] = "true"
4
5from qianfan.dataset import Dataset
6
7# 步骤一，接口调用认证
8# 【推荐】使用安全认证AK/SK鉴权，通过环境变量初始化认证信息
9# 替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
10os.environ["QIANFAN_ACCESS_KEY"] = "百度智能云IAM的AccessKey"
11os.environ["QIANFAN_SECRET_KEY"] = "百度智能云IAM的SecretKey"
12
13# 通过千帆ModelBuilder应用认证
14# os.environ["QIANFAN_AK"] = "千帆ModelBuilder控制台-应用接入-创建的应用AK"
15# os.environ["QIANFAN_SK"] = "千帆ModelBuilder控制台-应用接入-创建的应用SK"
16
17# 步骤二，初始化一个数据集对象
18ds = Dataset.load(data_file="./stress_test_data.jsonl")
19
20# 步骤三，设置压测相关参数
21
22"""
23* workers：启动10个进程来模拟并发请求。
24* users：总模拟并发100。
25* spawn_rate：每秒新增5个，一直增加到100个以后，不再新增， 后续从第11s开始，全部都按照100并发发压。
26* model/ endpoint: 预置服务名称/ 定制服务Endpoint，注意两个参数只能填写其一。
27* runtime：15m为15分钟。表示该次发压的时限为15分钟，超过该时限，脚本会自动停止，压测结束。
28"""
29ds.stress_test(
30    users=100,
31    workers=10,
32    spawn_rate=5,
33    # model="ERNIE-Speed-8K", # 此处填写预置服务名称，与endpoint二选一
34    endpoint="YourEndpoint", # 此处填写您的定制服务Endpoint
35    model_type="ChatCompletion", # 可选参数
36    runtime="15m", # 可选参数
37    hyperparameters={"temperature":0.9} # 可选参数
38)

1import os
2
3os.environ['QIANFAN_ENABLE_STRESS_TEST'] = "true"
4
5from qianfan.dataset import Dataset
6
7# 步骤一，接口调用认证
8#【推荐】使用安全认证AK/SK鉴权，通过环境变量初始化认证信息
9# 替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
10os.environ["QIANFAN_ACCESS_KEY"] = "百度智能云IAM的AccessKey"
11os.environ["QIANFAN_SECRET_KEY"] = "百度智能云IAM的SecretKey"
12
13# 通过千帆ModelBuilder应用认证
14# os.environ["QIANFAN_AK"] = "千帆ModelBuilder控制台-应用接入-创建的应用AK"
15# os.environ["QIANFAN_SK"] = "千帆ModelBuilder控制台-应用接入-创建的应用SK"
16
17# 步骤二，初始化一个数据集对象
18# 需要初始化一个数据集对象
19
20ds = Dataset.load(data_file="./stress_test_data.jsonl")
21
22# 步骤三，设置压测相关参数
23"""
24* workers：启动10个进程来模拟并发请求。
25* origin_users：初始发压并发数为100。users数量即为并发数量。
26* spawn_rate：每秒新增5个user，一直增加到100个以后，不再新增， 后续从第11s开始，全部都按照100并发发压。
27* model/ endpoint: 预置服务名称/ 定制服务Endpoint，注意两个参数只能填写其一。
28* first_latency_threshold: 首token时延阈值。首token返回时延超过20秒，则不会再发起下轮压测，压测在本轮停止。
29* round_latency_threshold: 单轮压测时延阈值。单轮压测时延超过100秒，则不会再发起下轮压测，压测在本轮停止。
30* success_rate_threshold: 单轮成功率阈值。本轮压测的请求成功率低于80%，则不会再发起下轮压测，压测在本轮停止。
31* rounds：指定压测轮数。
32* interval：指定压测轮之间的加压并发数。
33"""
34ds.multi_stress_test(
35    origin_users=100,
36    workers=10,
37    spawn_rate=5,
38    # model="ERNIE-Speed-8K", # 此处填写预置服务名称，与endpoint二选一
39    endpoint="YourEndpoint", # 此处填写服务Endpoint
40    model_type="ChatCompletion", # 可选参数
41    runtime="15m", # 可选参数
42    rounds=10, 
43    interval=5,
44    hyperparameters={"temperature":0.9} # 可选参数
45    #first_latency_threshold = 20,
46    #round_latency_threshold = 100,
47    #success_rate_threshold = 80,
48)

1Dataset.load(data_file="./stress_test_data.jsonl")

1[2024-07-11 14:11:15,009] [INFO] run completed.
2[2024-07-11 14:11:15,018] [INFO] Log path: record/20240711T135612Z/run.log
3[2024-07-11 14:11:15,020] [INFO] Load Test Statistics
4QPS: 3.59
5RPM: 215.4
6Latency Avg: 25.47
7Latency Min: 0.28
8Latency Max: 46.75
9Latency 50%: 24.94
10Latency 80%: 30.82
11FirstTokenLatency Avg: 19.06
12FirstTokenLatency Min: 0.09
13FirstTokenLatency Max: 27.32
14FirstTokenLatency 50%: 19.27
15FirstTokenLatency 80%: 21.73
16TotalInputTokens Avg: 2088.0
17TotalOutputTokens Avg: 1266.33
18SendQuery: 30
19SuccessQuery:29
20FailureQuery: 1
21TotalQuery: 30
22TotalTime: 28.63
23SuccessRate: 96.67%