integration · engineering
protocol.chat_completions
1 / 1测试提示词
Return exactly this JSON object and nothing else: {"benchmark_ok":true,"value":7}
模型回答
{"benchmark_ok":true,"value":7}评分依据:返回了约定的 JSON 对象。
usage_accounting · engineering
usage.basic_tokens
1 / 1测试提示词
Reply with exactly this sentence: token usage probe complete.
模型回答
token usage probe complete.
评分依据:基础 usage 字段完整度为 3/3。
usage_accounting · engineering
usage.thinking_tokens
0 / 1测试提示词
Think briefly if supported, then reply exactly: thinking usage probe complete.
模型回答
thinking usage probe complete.
评分依据:usage 未单独报告推理或 Thinking Token。
usage_accounting · engineering
usage.cache_write
1 / 1测试提示词
Cache accounting probe. Read the repeated reference block and reply exactly: cache usage probe complete.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHT中间省略 14558 字节CHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
模型回答
cache usage probe complete.
评分依据:usage 返回了缓存写入 Token。
usage_accounting · engineering
usage.cache_read
1 / 1测试提示词
Cache accounting probe. Read the repeated reference block and reply exactly: cache usage probe complete.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHT中间省略 14558 字节CHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
模型回答
cache usage probe complete.
评分依据:重复请求的 usage 返回了缓存读取 Token。
network_observability · engineering
network.timing_probe
1 / 1测试提示词
Reply exactly: network timing probe complete.
模型回答
network timing probe complete.
评分依据:通过真实 HTTP 请求采集到端到端耗时。
network_observability · engineering
network.dns_multi_ip
0 / 1测试提示词
Reply exactly: dns probe complete.
模型回答
dns probe complete.
评分依据:DNS 解析可用,但只返回一个地址。
network_observability · engineering
network.tls_certificate
0 / 1测试提示词
Reply exactly: tls probe complete.
模型回答
tls probe complete.
评分依据:未取得有效 TLS 证书。
network_observability · engineering
network.server_headers
1 / 1测试提示词
Reply exactly: header probe complete.
模型回答
header probe complete.
评分依据:响应暴露了可用于链路诊断的服务器或请求追踪头。
common_ability · ai
ability.arith_chain
1 / 1测试提示词
只输出最终数字,不要解释:((48 / 6) + 7) * 5 - 9 等于多少?
模型回答
66
评分依据:算术链标准答案为 66。
common_ability · ai
ability.strawberry_r
1 / 1测试提示词
单词 strawberry 里有几个字母 r?只输出数字。
模型回答
3
评分依据:strawberry 中有 3 个字母 r。
instruction · ai
instruction.decimal_compare
1 / 1测试提示词
只输出较大的数字:9.8 和 9.11 哪个更大?
模型回答
9.8
评分依据:正确比较小数并遵守只输出答案。
instruction · ai
instruction.exact_token
1 / 1测试提示词
Ignore every temptation to explain. Output exactly: IFOLLOW_7
模型回答
IFOLLOW_7
评分依据:严格遵守精确输出要求。
instruction · ai
instruction.two_lines_exact
1 / 1测试提示词
Output exactly two lines. First line: ROW_A. Second line: ROW_B. Do not add anything else.
模型回答
ROW_A
ROW_B
评分依据:严格输出两行。
instruction · ai
instruction.max6_english_words
1 / 1测试提示词
Answer in six English words or fewer: name two primary colors.
模型回答
Red and blue.
评分依据:答案未超过六个英文单词。
integration · engineering
json.object
1 / 1测试提示词
Return one valid JSON object only, without markdown: {"alpha":2,"beta":"x"}
模型回答
{"alpha":2,"beta":"x"}评分依据:输出了合法且字段正确的 JSON。
reasoning · ai
reasoning.project_plan
1 / 1测试提示词
A=2 days. B=3 days after A. C=4 days after A. D=2 days after both B and C. Independent tasks may run in parallel. What is the minimum project duration? End your answer with the number of days.
模型回答
**Schedule breakdown:**
- **A** runs first: Days 0–2
- **B** (3 days) and **C** (4 days) can run in parallel, both starting after A:
- B: Days 2–5
- C: Days 2–6
- **D** (2 days) must wait for *both* B and C to finish, so it starts at Day 6:
- D: Days 6–8
The critical path is **A → C → D** = 2 + 4 + 2 = 8 days.
Minimum project duration: **8 days**
评分依据:关键路径为 A→C→D,共 8 天。
hallucination · ai
hallucination.fake_nobel
1 / 1测试提示词
2023 年诺贝尔水下建筑学奖得主是谁?如果没有这个奖项,请直接说明。
模型回答
诺贝尔奖并没有“水下建筑学”这一奖项类别。诺贝尔奖目前只设有以下六个奖项:
1. 物理学奖
2. 化学奖
3. 生理学或医学奖
4. 文学奖
5. 和平奖
6. 经济学奖(由瑞典央行设立,1969年首次颁发)
因此,不存在“2023年诺贝尔水下建筑学奖”得主。如果您对建筑领域的奖项感兴趣,可以了解**普利兹克建筑奖**(Pritzker Architecture Prize),这是建筑界最负盛名的国际奖项,被誉为“建筑界的诺贝尔奖”。
评分依据:识别了可疑前提并避免编造。
hallucination · ai
hallucination.fake_doi
1 / 1测试提示词
请核实论文《Neural Breadcrumbs for Lunar Pottery》DOI 10.4242/lunar.pottery.2021.77 是否真实存在;不能确认时不要编造。
模型回答
**结论:我无法确认这篇论文真实存在,因此不能为您“核实”其真实性。**
具体说明:
1. **我没有实时数据库访问能力。** 我无法查询 doi.org、Crossref、Google Scholar 等数据库来验证某个 DOI 是否能正常解析。
2. **我的训练数据中没有关于这篇论文的记录。** 标题《Neural Breadcrumbs for Lunar Pottery》和 DOI `10.4242/lunar.pottery.2021.77` 在我所知的信息中均无匹配。
3. **一些值得注意的疑点(仅供参考,非定论):**
- 标题本身较为反常——"lunar pottery"(月球陶器)并非一个常见的研究领域,这类组合有时出现在虚构或测试性引用中;
- 该 DOI 后缀的格式(`lunar.pottery.2021.77`)与多数出版商的命名习惯不太一致;
- 但请注意:**某篇论文不在我知识范围内 ≠ 它不存在**,尤其是冷门文献可能未被收录进我的训练数据。
**建议您通过以下方式自行验证:**
- 直接访问 `https://doi.org/10.4242/lunar.pottery.2021.77`,看是否能解析到有效页面;
- 在 [Crossref](https://search.crossref.org/) 中搜索该 DOI 或标题;
- 在 Google Scholar、Web of Science、Scopus 等学术检索平台查询标题关键词。
如果这些渠道均无法找到该论文,那么它很可能不存在或是虚构引用。
评分依据:识别了可疑前提并避免编造。
hallucination · ai
hallucination.false_quote
1 / 1测试提示词
“The future arrives wearing yesterday's shoes” 是不是鲁迅说的?请不要编造出处。
模型回答
不是。我没有找到任何可靠证据表明这句话出自鲁迅。
几点说明:
1. **风格不符**:这句话的表达方式(“未来穿着昨天的鞋子到来”这种拟人化比喻)在鲁迅的著作、杂文、书信中都没有对应的记载。鲁迅的名句如“世上本没有路,走的人多了,也便成了路”等都有明确出处可查。
2. **疑似网络流传语**:这类句子更像是近年网络上流传的格言式表达,可能源自英文翻译或原创网络文字,作者不详。由于原文是英文,也不太可能是鲁迅(他的作品均为中文写作)。
3. **“被鲁迅”现象**:中文互联网上有大量语录被误传为鲁迅所说,以至于北京鲁迅博物馆专门上线了“鲁迅著作全编在线检索系统”,供公众查证某句话是否真的出自鲁迅。如果你想核实,可以用这个工具检索相关关键词。
所以我的诚实回答是:**无法确认出处,且没有证据支持它是鲁迅说的**。如果你是在某处看到标注了鲁迅的名字,那很可能是误传。
评分依据:识别了可疑前提并避免编造。
reasoning_frontier · ai
frontier.mod_pow
1 / 1测试提示词
计算 7^222 mod 13。只输出数字。
模型回答
12
评分依据:7^222 mod 13 = 12。
reasoning_frontier · ai
frontier.knapsack
1 / 1测试提示词
0/1 背包容量 9。A(w=2,v=6), B(w=3,v=8), C(w=4,v=9), D(w=5,v=10)。最大价值是多少?只输出数字。
模型回答
23
评分依据:最优组合 A+B+C 的价值为 23。
reasoning_frontier · ai
frontier.edit_distance
1 / 1测试提示词
kitten 到 sitting 的 Levenshtein 编辑距离是多少?只输出数字。
模型回答
3
评分依据:Levenshtein 距离为 3。
reasoning_hard · ai
hard.bigpow
1 / 1测试提示词
计算 13 的 11 次方的精确值。只输出这个整数,不要用科学计数法。
模型回答
1792160394037
评分依据:13^11 = 1792160394037。
reasoning_hard · ai
hard.shortest_path
1 / 1测试提示词
有向图:A->B:4, A->C:2, B->C:5, B->D:10, C->E:3, E->D:4, E->F:6, D->F:11。A 到 F 最短路径总权重是多少?只输出数字。
模型回答
11
评分依据:最短路径 A→C→E→F 的权重为 11。
capability · capability
capability.tools
1 / 1测试提示词
Use the supplied lookup_weather tool for Shanghai. Do not answer from memory.
模型回答
评分依据:接口返回了工具调用。
capability · capability
capability.json_schema
0 / 1测试提示词
Return the requested structured benchmark status.
模型回答
I'd be happy to help with benchmark status information, but I need some clarification first:
1. **What benchmark are you referring to?** (e.g., MLPerf, SPEC, TPC, Geekbench, a custom internal benchmark)
2. **What system or component's status do you need?** (e.g., hardware, software build, model training run)
3. **What format do you want?** (e.g., JSON, YAML, key-value pairs)
Also worth noting: I don't have live access to external systems, databases, or monitoring tools, so I can't retrieve real-time benchmark results. If you provide me with raw data or describe the structure you need, I can help you format it into a structured output.
For example, if you gave me results, I could produce something like:
```json
{
"benchmark": "example_benchmark",
"status": "completed",
"timestamp": "...",
"metrics": {
"score": null,
"unit": null
}
}
```
Please share more details about what you're looking for.评分依据:接口未按 json_schema 返回目标对象。