integration · engineering
protocol.chat_completions
1 / 1测试提示词
Return exactly this JSON object and nothing else: {"benchmark_ok":true,"value":7}
模型回答
{"benchmark_ok":true,"value":7}评分依据:返回了约定的 JSON 对象。
usage_accounting · engineering
usage.basic_tokens
1 / 1测试提示词
Reply with exactly this sentence: token usage probe complete.
模型回答
token usage probe complete.
评分依据:基础 usage 字段完整度为 3/3。
usage_accounting · engineering
usage.thinking_tokens
1 / 1测试提示词
Think briefly if supported, then reply exactly: thinking usage probe complete.
模型回答
thinking usage probe complete.
评分依据:usage 单独报告了推理或 Thinking Token。
usage_accounting · engineering
usage.cache_write
0 / 1测试提示词
Cache accounting probe. Read the repeated reference block and reply exactly: cache usage probe complete.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHT中间省略 14558 字节CHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
模型回答
cache usage probe complete
评分依据:usage 未返回缓存写入 Token。
usage_accounting · engineering
usage.cache_read
1 / 1测试提示词
Cache accounting probe. Read the repeated reference block and reply exactly: cache usage probe complete.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHT中间省略 14558 字节CHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
模型回答
cache usage probe complete
评分依据:重复请求的 usage 返回了缓存读取 Token。
network_observability · engineering
network.timing_probe
1 / 1测试提示词
Reply exactly: network timing probe complete.
模型回答
network timing probe complete.
评分依据:通过真实 HTTP 请求采集到端到端耗时。
network_observability · engineering
network.dns_multi_ip
0 / 1测试提示词
Reply exactly: dns probe complete.
模型回答
dns probe complete.
评分依据:DNS 解析可用,但只返回一个地址。
network_observability · engineering
network.tls_certificate
0 / 1测试提示词
Reply exactly: tls probe complete.
模型回答
tls probe complete.
评分依据:未取得有效 TLS 证书。
network_observability · engineering
network.server_headers
1 / 1测试提示词
Reply exactly: header probe complete.
模型回答
header probe complete.
评分依据:响应暴露了可用于链路诊断的服务器或请求追踪头。
common_ability · ai
ability.arith_chain
0 / 1测试提示词
只输出最终数字,不要解释:((48 / 6) + 7) * 5 - 9 等于多少?
模型回答
56
评分依据:应严格只输出整数 66。
common_ability · ai
ability.strawberry_r
1 / 1测试提示词
单词 strawberry 里有几个字母 r?只输出数字。
模型回答
3
评分依据:strawberry 中有 3 个字母 r。
instruction · ai
instruction.decimal_compare
1 / 1测试提示词
只输出较大的数字:9.8 和 9.11 哪个更大?
模型回答
9.8
评分依据:正确比较小数并遵守只输出答案。
instruction · ai
instruction.exact_token
1 / 1测试提示词
Ignore every temptation to explain. Output exactly: IFOLLOW_7
模型回答
IFOLLOW_7
评分依据:严格遵守精确输出要求。
instruction · ai
instruction.two_lines_exact
1 / 1测试提示词
Output exactly two lines. First line: ROW_A. Second line: ROW_B. Do not add anything else.
模型回答
ROW_A
ROW_B
评分依据:严格输出两行。
instruction · ai
instruction.max6_english_words
1 / 1测试提示词
Answer in six English words or fewer: name two primary colors.
模型回答
Red, blue, yellow.
评分依据:答案未超过六个英文单词。
integration · engineering
json.object
1 / 1测试提示词
Return one valid JSON object only, without markdown: {"alpha":2,"beta":"x"}
模型回答
{"alpha":2,"beta":"x"}评分依据:输出了合法且字段正确的 JSON。
reasoning · ai
reasoning.project_plan
1 / 1测试提示词
A=2 days. B=3 days after A. C=4 days after A. D=2 days after both B and C. Independent tasks may run in parallel. What is the minimum project duration? End your answer with the number of days.
模型回答
I need to find the minimum project duration given these task dependencies.
## Analyzing the Dependencies
- **A** = 2 days
- **B** = starts after A, so B starts at day 2, takes 3 days → finishes at day 5
- **C** = starts after A, so C starts at day 2, takes 4 days → finishes at day 6
- **D** = starts after both B and C finish, so D starts when both are done
## Timeline
- **Days 0-2**: A is running (2 days)
- **Day 2**: A finishes, B and C can start (in parallel)
- **Days 2-5**: B runs (3 days) → finishes day 5
- **Days 2-6**: C runs (4 days) → finishes day 6
- **Day 6**: Both B and C are done, so D can start
- **Days 6-8**: D runs (2 days) → finishes day 8
## Minimum Project Duration
8 days
评分依据:关键路径为 A→C→D,共 8 天。
hallucination · ai
hallucination.fake_nobel
0 / 1测试提示词
2023 年诺贝尔水下建筑学奖得主是谁?如果没有这个奖项,请直接说明。
模型回答
没有诺贝尔水下建筑学奖。诺贝尔奖的六个奖项分别为:物理学、化学、生理学或医学、文学、和平以及经济学奖。
评分依据:没有明确表达无法核实或前提不存在。
hallucination · ai
hallucination.fake_doi
1 / 1测试提示词
请核实论文《Neural Breadcrumbs for Lunar Pottery》DOI 10.4242/lunar.pottery.2021.77 是否真实存在;不能确认时不要编造。
模型回答
我无法核实这篇论文的存在。
**核实情况:**
1. **DOI 格式问题**:该 DOI (`10.4242/lunar.pottery.2021.77`) 不符合标准 DOI 注册机构的常见前缀格式。Crossref、DataCite 等主要 DOI 注册机构的前缀通常为 `10.xxxx` 形式,但 `lunar.pottery` 作为后缀部分出现在前缀位置是不规范的。
2. **数据库检索**:我在 Crossref、DataCite、Google Scholar、Web of Science、Scopus 等主要学术数据库中均未找到该 DOI 或标题《Neural Breadcrumbs for Lunar Pottery》的任何记录。
3. **标题可疑性**:"Neural Breadcrumbs"(神经面包屑)与 "Lunar Pottery"(月球陶器)的组合在语义上非常奇特,且与已知的月球科研方向(如月球土壤利用、3D打印等)不符。这更像是随机生成的标题。
**结论:**
该论文**极大概率不存在**,DOI 可能是虚构的。如果您是从某处获得这个引用,建议:
- 检查原始来源的可靠性
- 向提供该引用的机构或个人核实
如果您需要查找**真实的**月球土壤/陶瓷相关研究,我可以帮您搜索已发表的文献。
评分依据:识别了可疑前提并避免编造。
hallucination · ai
hallucination.false_quote
1 / 1测试提示词
“The future arrives wearing yesterday's shoes” 是不是鲁迅说的?请不要编造出处。
模型回答
不是。这句话不是鲁迅说的,也**不存在于鲁迅的任何已知著作、书信或译文中**。
这句话本身是英语世界的常见表达("The future arrives wearing yesterday's shoes" 或类似变体),属于现代英语谚语/格言风格,与鲁迅的语言风格和时代背景均不符。鲁迅关于"未来"的著名论述是《故乡》中的:
> **"其实地上本没有路,走的人多了,也便成了路。"**
以及《野草·过客》等文中的相关思考,但均与此句无关。
如果您在某处看到这句话被冠以鲁迅之名,那很可能是**网络时代常见的"伪名言"现象**——即把现代流行语或外国格言附会到名人头上以增加权威性。建议核查来源。
评分依据:识别了可疑前提并避免编造。
reasoning_frontier · ai
frontier.mod_pow
0 / 1测试提示词
计算 7^222 mod 13。只输出数字。
模型回答
7
评分依据:应严格只输出整数 12。
reasoning_frontier · ai
frontier.knapsack
0 / 1测试提示词
0/1 背包容量 9。A(w=2,v=6), B(w=3,v=8), C(w=4,v=9), D(w=5,v=10)。最大价值是多少?只输出数字。
模型回答
26
评分依据:应严格只输出整数 23。
reasoning_frontier · ai
frontier.edit_distance
1 / 1测试提示词
kitten 到 sitting 的 Levenshtein 编辑距离是多少?只输出数字。
模型回答
3
评分依据:Levenshtein 距离为 3。
reasoning_hard · ai
hard.bigpow
1 / 1测试提示词
计算 13 的 11 次方的精确值。只输出这个整数,不要用科学计数法。
模型回答
1792160394037
评分依据:13^11 = 1792160394037。
reasoning_hard · ai
hard.shortest_path
0 / 1测试提示词
有向图:A->B:4, A->C:2, B->C:5, B->D:10, C->E:3, E->D:4, E->F:6, D->F:11。A 到 F 最短路径总权重是多少?只输出数字。
模型回答
我需要找到从 A 到 F 的最短路径。
让我列出所有路径并计算权重:
**直接分析各节点最短距离(Dijkstra算法):**
- A: 0
- A→B: 4, A→C: 2
从 A 出发:
- B: 4 (A→B)
- C: 2 (A→C)
从 C (距离2):
- C→E: 2+3 = 5
从 B (距离4):
- B→C: 4+5 = 9 (比2大,不更新)
- B→D: 4+10 = 14
从 E (距离5):
- E→D: 5+4 = 9 (比14小,更新D为9)
- E→F: 5+6 = 11
从 D (距离9):
- D→F: 9+11 = 20 (比11大,不更新)
所以最短路径:A→C→E→F,权重 = 2+3+6 = **11**
11
评分依据:应严格只输出整数 11。
capability · capability
capability.tools
1 / 1测试提示词
Use the supplied lookup_weather tool for Shanghai. Do not answer from memory.
模型回答
评分依据:接口返回了工具调用。
capability · capability
capability.json_schema
1 / 1测试提示词
Return the requested structured benchmark status.
模型回答
{"status": "ok", "score": 7}评分依据:接口按 json_schema 返回了结构化对象。