10款大模型做北京中考数学题，4款国产大模型表现超ChatGPT

【TechWeb】6月26日消息，2024年北京市初中学业水平考试今天结束，中考数学向来是学生和家长关注的重点，而数学试卷主要考查学生对初中数学主干知识的掌握情况和在知识学习过程中核心素养的发展情况。

此前，我们曾用“9款大模型做高考数学题”，但是效果一般。

现在，降低难度，用大模型做北京中考的数学题，它们的表现又如何呢？

选取百度文心一言、阿里通义、腾讯元宝、字节豆包、ChatGPT，百川智能百小应、零一万物万知、智谱清言、月之暗面的Kimi，好未来九章大模型总计10款大模型来答题。

其中，零一万物万知PC端不支持上传图片/拍照，这里采用了万知微信小程序来参与答题。

一共选择数据卷中的3道题进行测试。

1、选择题

正确答案：A

2、填空题

正确答案：

第一空 60

第二空 C-A-B-D

3、解答题

正确答案：符合。因为改造后A类物质排放量为34mg/km，小于标准要求的不超过35mg/km。

统一测试方法：在大模型对话框输入上述3道题的图片，大模型进行图片识别后，再进行答题，最终看答题结果是否正确。解答题除了看结果外，还要考察解答过程是否正确。

测试结果如下：

1、九章大模型、元宝、百小应、智谱清言答对3问，表现较好；

2、通义、豆包、Kimi、ChatGPT答对2问；

3、文心一言、万知小程序只答对1问。

下面附上各AI产品对三道题的答题情况：

文心一言3.5解答结果

1

2

3

通义

1

2

3

元宝

1

2

3

豆包

1

2

3

百小应

1

2

3

万知

1

2

3

智谱清言

1

2

3

Kimi

1

2

3

九章大模型

1

2

3

ChatGPT

1

2

3