The final ranking of CMRC 2017 Evaluation is available.
We will only upload the result files of Top-3 systems(both single/ensemble).
| 最终排名 Rank |
参赛单位 Participant |
单/多系统 single/ensemble |
开发集准确率 Dev ACC |
测试集准确率↓ Test ACC |
|---|---|---|---|---|
| 1 | 6ESTATES PTE LTD | 多系统 | 81.85% | 81.90% |
| 单系统 | 75.85% | 74.73% | ||
| 2 | 上海交通大学仿脑计算与机器智能研究中心自然语言组 Shanghai Jiao Tong University (SJTU BCMI-NLP) |
多系统 | 78.35% | 80.67% |
| 单系统 | 76.15% | 77.73% | ||
| 3 | 南京云思创智信息科技有限公司 | 多系统 | 79.20% | 80.27% |
| 单系统 | 77.15% | 77.53% | ||
| 4 | 华东师范大学 East China Normal University (ECNU) |
多系统 | 79.45% | 79.70% |
| 单系统 | 77.95% | 77.40% | ||
| 5 | 鲁东大学 Ludong University |
多系统 | 77.05% | 77.07% |
| 单系统 | 74.75% | 75.07% | ||
| 6 | 武汉大学计算机学院语言与信息研究中心 Wuhan University (WHU) |
单系统 | 78.20% | 76.53% |
| 7 | 哈尔滨工业大学（深圳） Harbin Institute of Technology at Shenzhen (HITSZ) |
单系统 | 76.05% | 75.93% |
| 8 | 广州火焰信息科技有限公司 | 单系统 | 73.55% | 75.77% |
| 9 | 武汉科技大学 Wuhan University of Science and Technology (WUST) |
单系统 | 73.80% | 74.53% |
| 10 | 北京信息科技大学 Beijing Information Science and Technology University (BISTU) |
单系统 | 70.05% | 70.20% |
| 11 | 山西大学二队 Shanxi University (SXU-2) |
多系统 | 66.65% | 68.47% |
| 单系统 | 62.60% | 64.70% | ||
| 12 | 沈阳航空航天大学 Shenyang Aerospace University (SAU) |
单系统 | 63.15% | 65.80% |
| 13 | 山西大学一队 Shanxi University (SXU-1) |
单系统 | 64.85% | 64.67% |
| 14 | 郑州大学 Zhengzhou University (ZZU) |
单系统 | 52.80% | 54.53% |
| - | Baseline - AS Reader CMRC2017 Official |
单系统 | 69.75% | 71.23% |
| - | Baseline - Top Frequency CMRC2017 Official |
单系统 | 14.85% | 14.07% |
| - | Baseline - Random Guess CMRC2017 Official |
单系统 | 1.65% | 1.67% |
说明：开发集效果不计入排名参考，排名以测试集准确率降序排列
Note: The result of development set is not counted as the final metric for ranking.
| 最终排名 Rank |
参赛单位 Participant |
单/多系统 single/ensemble |
开发集准确率 Dev ACC |
测试集准确率↓ Test ACC |
|---|---|---|---|---|
| 1 | 华东师范大学 East China Normal University (ECNU) |
多系统 | 90.45% | 69.53% |
| 单系统 | 85.55% | 65.77% | ||
| 2 | 山西大学三队 Shanxi University (SXU-3) |
单系统 | 47.80% | 49.07% |
| 3 | 郑州大学 Zhengzhou University (ZZU) |
单系统 | 31.10% | 32.53% |
| - | Baseline - AS Reader CMRC2017 Official |
单系统 | TBA | 47.77% |
| - | Baseline - Top Frequency CMRC2017 Official |
单系统 | 10.65% | 8.73% |
-
cloze (填空型)
-
user (用户提问型)
-
best_single (最佳单系统)
Filename: [system_name].[single/ensemble].[dev/test].out
python evaluate.py [prediction-file] [reference-file]
If you have any questions, please contact evaluation committee.
CMRC 2017 Evaluation Committee