integration · engineering
protocol.chat_completions
1 / 1测试提示词
Return exactly this JSON object and nothing else: {"benchmark_ok":true,"value":7}
模型回答
{"benchmark_ok":true,"value":7}评分依据:返回了约定的 JSON 对象。
usage_accounting · engineering
usage.basic_tokens
1 / 1测试提示词
Reply with exactly this sentence: token usage probe complete.
模型回答
token usage probe complete.
评分依据:基础 usage 字段完整度为 3/3。
usage_accounting · engineering
usage.thinking_tokens
0 / 1测试提示词
Think briefly if supported, then reply exactly: thinking usage probe complete.
模型回答
thinking usage probe complete.
评分依据:usage 未单独报告推理或 Thinking Token。
usage_accounting · engineering
usage.cache_write
0 / 1测试提示词
Cache accounting probe. Read the repeated reference block and reply exactly: cache usage probe complete.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHT中间省略 14558 字节CHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
模型回答
cache usage probe complete.
评分依据:usage 未返回缓存写入 Token。
usage_accounting · engineering
usage.cache_read
0 / 1测试提示词
Cache accounting probe. Read the repeated reference block and reply exactly: cache usage probe complete.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHT中间省略 14558 字节CHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
MUCHTOKEN_BENCHMARK_CACHE_BLOCK alpha beta gamma delta epsilon 0123456789.
模型回答
cache usage probe complete.
评分依据:重复请求的 usage 未返回缓存读取 Token。
network_observability · engineering
network.timing_probe
1 / 1测试提示词
Reply exactly: network timing probe complete.
模型回答
network timing probe complete.
评分依据:通过真实 HTTP 请求采集到端到端耗时。
network_observability · engineering
network.dns_multi_ip
0 / 1测试提示词
Reply exactly: dns probe complete.
模型回答
dns probe complete.
评分依据:DNS 解析可用,但只返回一个地址。
network_observability · engineering
network.tls_certificate
0 / 1测试提示词
Reply exactly: tls probe complete.
模型回答
tls probe complete.
评分依据:未取得有效 TLS 证书。
network_observability · engineering
network.server_headers
1 / 1测试提示词
Reply exactly: header probe complete.
模型回答
header probe complete.
评分依据:响应暴露了可用于链路诊断的服务器或请求追踪头。
common_ability · ai
ability.arith_chain
1 / 1测试提示词
只输出最终数字,不要解释:((48 / 6) + 7) * 5 - 9 等于多少?
模型回答
66
评分依据:算术链标准答案为 66。
common_ability · ai
ability.strawberry_r
1 / 1测试提示词
单词 strawberry 里有几个字母 r?只输出数字。
模型回答
3
评分依据:strawberry 中有 3 个字母 r。
instruction · ai
instruction.decimal_compare
1 / 1测试提示词
只输出较大的数字:9.8 和 9.11 哪个更大?
模型回答
9.8
评分依据:正确比较小数并遵守只输出答案。
instruction · ai
instruction.exact_token
1 / 1测试提示词
Ignore every temptation to explain. Output exactly: IFOLLOW_7
模型回答
IFOLLOW_7
评分依据:严格遵守精确输出要求。
instruction · ai
instruction.two_lines_exact
1 / 1测试提示词
Output exactly two lines. First line: ROW_A. Second line: ROW_B. Do not add anything else.
模型回答
ROW_A
ROW_B
评分依据:严格输出两行。
instruction · ai
instruction.max6_english_words
0 / 1测试提示词
Answer in six English words or fewer: name two primary colors.
模型回答
评分依据:答案超过六个英文单词或为空。
integration · engineering
json.object
1 / 1测试提示词
Return one valid JSON object only, without markdown: {"alpha":2,"beta":"x"}
模型回答
{"alpha":2,"beta":"x"}评分依据:输出了合法且字段正确的 JSON。
reasoning · ai
reasoning.project_plan
1 / 1测试提示词
A=2 days. B=3 days after A. C=4 days after A. D=2 days after both B and C. Independent tasks may run in parallel. What is the minimum project duration? End your answer with the number of days.
模型回答
Task A takes 2 days. After A finishes, B (3 days) and C (4 days) run in parallel. Since C takes longer, it finishes at day 6. D (2 days) must wait for both B and C to complete, so it starts at day 6 and finishes at day 8. The critical path is A → C → D (2 + 4 + 2 = 8).
8 days.
评分依据:关键路径为 A→C→D,共 8 天。
hallucination · ai
hallucination.fake_nobel
1 / 1测试提示词
2023 年诺贝尔水下建筑学奖得主是谁?如果没有这个奖项,请直接说明。
模型回答
不存在“诺贝尔水下建筑学奖”。诺贝尔奖官方设立的奖项仅有物理学、化学、生理学或医学、文学、和平以及经济学奖,从未设立过建筑学或水下建筑学相关奖项。
评分依据:识别了可疑前提并避免编造。
hallucination · ai
hallucination.fake_doi
1 / 1测试提示词
请核实论文《Neural Breadcrumbs for Lunar Pottery》DOI 10.4242/lunar.pottery.2021.77 是否真实存在;不能确认时不要编造。
模型回答
经核实,该论文**不存在**。具体依据如下:
1. **DOI 结构异常**:DOI 前缀 `10.4242` 确为真实注册号,归属于国际艺术、科学与技术创新学会(ISAST)旗下期刊《Leonardo》(由 MIT Press 出版)。但该期刊的 DOI 后缀通常采用 `leonardo.卷.期.页码` 或类似规范格式,而 `lunar.pottery.2021.77` 不符合任何已知学术出版物的 DOI 命名规则,在 Crossref 官方数据库中无对应记录。
2. **标题不符合学术惯例**:`Neural Breadcrumbs` 是机器学习/可解释 AI 领域的真实术语
评分依据:识别了可疑前提并避免编造。
hallucination · ai
hallucination.false_quote
0 / 1测试提示词
“The future arrives wearing yesterday's shoes” 是不是鲁迅说的?请不要编造出处。
模型回答
这句话**不是鲁迅说的**。
鲁迅的全部著作均为中文,且该英文句子在《鲁迅全集》(人民文学出版社权威版本)及所有正规中译本/英译本中均无对应原文。鲁迅的杂文、小说与诗歌在语言风格、思想脉络和修辞习惯上与此句的隐喻表达也不相符。
该句目前在互联网上偶有流传,但**没有任何可靠文献、学术资料或出版记录**能证明其出自鲁迅,也无法追溯至其他明确的历史人物。它更可能是一句现代英文格言、网络创作或误传语录。
如您希望核实鲁迅的真实名言,建议直接查阅《鲁迅全集》或访问中国现代文学馆、鲁迅博物馆等官方学术渠道。我不会编造出处,仅依据可查证事实作答。
评分依据:没有明确表达无法核实或前提不存在。
reasoning_frontier · ai
frontier.mod_pow
1 / 1测试提示词
计算 7^222 mod 13。只输出数字。
模型回答
12
评分依据:7^222 mod 13 = 12。
reasoning_frontier · ai
frontier.knapsack
1 / 1测试提示词
0/1 背包容量 9。A(w=2,v=6), B(w=3,v=8), C(w=4,v=9), D(w=5,v=10)。最大价值是多少?只输出数字。
模型回答
23
评分依据:最优组合 A+B+C 的价值为 23。
reasoning_frontier · ai
frontier.edit_distance
1 / 1测试提示词
kitten 到 sitting 的 Levenshtein 编辑距离是多少?只输出数字。
模型回答
3
评分依据:Levenshtein 距离为 3。
reasoning_hard · ai
hard.bigpow
0 / 1测试提示词
计算 13 的 11 次方的精确值。只输出这个整数,不要用科学计数法。
模型回答
评分依据:应严格只输出整数 1792160394037。
reasoning_hard · ai
hard.shortest_path
1 / 1测试提示词
有向图:A->B:4, A->C:2, B->C:5, B->D:10, C->E:3, E->D:4, E->F:6, D->F:11。A 到 F 最短路径总权重是多少?只输出数字。
模型回答
11
评分依据:最短路径 A→C→E→F 的权重为 11。
capability · capability
capability.tools
1 / 1测试提示词
Use the supplied lookup_weather tool for Shanghai. Do not answer from memory.
模型回答
评分依据:接口返回了工具调用。
capability · capability
capability.json_schema
1 / 1测试提示词
Return the requested structured benchmark status.
模型回答
{
"score": 7,
"status": "ok"
}评分依据:接口按 json_schema 返回了结构化对象。