
| 模型 | 速度 | 延迟 | 测试数 |
|---|---|---|---|
| llama3.1-8b | 2286.66 t/s | 0.58s | 10 |
| qwen-3-235b-a22b-instruct-2507 | 910.42 t/s | 0.63s | 5 |
| 时间 | 模型 | 速度 | 延迟 |
|---|---|---|---|
| Apr 3, 02:47 PM | qwen-3-235b-a22b-instruct-2507 | 910.42 t/s | 0.63s |
| Apr 3, 02:47 PM | llama3.1-8b | 2589.39 t/s | 0.57s |
| Apr 3, 02:47 PM |
| llama3.1-8b |
1983.93 t/s |
0.59s |