基于认知方式评测的大语言模型中文阅读理解能力研究——以Bing Copilot为例 PDF Free Download

1 / 13
0 views13 pages

基于认知方式评测的大语言模型中文阅读理解能力研究——以Bing Copilot为例 PDF Free Download

基于认知方式评测的大语言模型中文阅读理解能力研究——以Bing Copilot为例 PDF free Download. Think more deeply and widely.

2025 12
10 4
Dec. 2025
Vol. 10 No. 4
国际中文教育 中英文
International Chinese Language Education
基于认知方式评测的大语言模型
中文阅读理解能力研究
——以 Bing Copilot 为例*
肖锐 宋靖雯 张邝弋
大语言模型 large language modelLLM 从感知智能到认知智能的跨越,标
志着人工智能在自然语言处理领域的重要突破和深化应用。本研究从认知心理学研
角出试及 HSK 阅读理解测试,对 LLM 的认知方式进行评
测,进而评 LLM 中文阅读理解能力。研究结果显示:Bing Copilot 代表的
LLM 具有明显的场独立型认知方式;基于 LLM 角色扮演的虚拟学生能一定程度模
留学的语,但实留在差;人机交互背景下的 LLM
认知方式对中文阅读理解能力有显著影响。本研究认为,上述实验结果不仅从认知
科学角度验证了 LLM 仍存在的认知缺陷进而引发信息处理的偏差,并且揭示了通过
拟和知方 LLM 设计的必要性和可行性。这有助于推动 LLM
力国际中文教育向更高层次的智能化转型,助力人机智能在教育领域尤其是国际中
文教育中的深度应用与创新。
关键词关键词认知方式;大语言模型;阅读理解;国际中文教育
中图类号中图类号H195 献标识码献标识码A 文章文章2096-9716 202504-0019-13
Research on Chinese Reading Comprehension
Ability of Large Language Model Based on Cognitive
Assessment Methods: A Case Study of Bing Copilot
Xiao Rui, Song Jingwen and Zhang Kuangyi
Abstract: The leap of the large language model (LLM) from perceptual intelligence to
* 本文系教育部人文社会科学重点研究基地重大项目“国际中文教育数字资源综合评价理论与方法研究”
目编号:22JJD74001 和云南大学 2025 年第五届专业学位研究生实践创新项目“基于 等级标准
HSK 写作反馈智能体构建与应用”项目编号:ZC-252513168 的阶段性研究成果。
19
2025 4 国际中文教育 中英文
cognitive intelligence marks an important breakthrough and deepens the application of
artificial intelligence in the field of natural language processing. This study starts from
the perspective of cognitive psychology research and uses the Cognitive Figure Test and
HSK Reading Comprehension Test to evaluate LLM s cognitive style and basic
reasoning ability. The research results show that: LLM represented by Bing Copilot
has an evidently field-independent cognitive style; Virtual students based on LLM
role-playing can partially emulate the real language proficiency of international students
to a certain extent, but there is still a gap with real international students; LLM
cognitive style in the context of human-computer interaction has a significant impact on
Chinese reading comprehension ability. This study argues that the aforementioned
experimental results not only validate from a cognitive science perspective that LLM still
exhibits cognitive limitations that can lead to biases in information processing, but also
reveal the necessity and feasibility of optimizing LLM design through simulation and
integration of multiple cognitive methods. LLM facilitates the intelligent transformation
of international Chinese language education to higher levels and propels advanced
application and innovation of human-machine intelligence in the field of education,
especially in international Chinese language education.
Keywords: cognitive style; LLM; reading comprehension; international Chinese
language education
1 引言
随着人工智能技术的进步和发展,LLM 不仅在多项语言任务中展现出了接近
Loconte 等,2024Zhao 等,2023,而且在语言学习方面也
显示出了巨大的潜力和优势 BaskaraMukarto2023Wang2021深入
LLM 在认知方式和语言学习上的应用和挑战,对构建更适宜语言学习的 LLM
重要的理论和实践意义。
方面LLM 作为辅助语言学习的工具,可以为学习者提供个性化的学习内
容、反馈和评,帮助学习者提高语言输入输出和交互的效率和质 Jeon
2023另一方面,认知方式作为影响语言学习的一个重要因素,可以反映学习者
对语言信息的加工、存储和提取的偏好和策略,从而影响个体的语言水平和进步速
Subramonyam 等,2023。然而,目前 LLM 认知方式的评测及其与语言学习
之间系的究,还缺系统阐述框架尚无有效法来估和 LLM
认识方式,以适应不同的语言学习需求和目标。
20
肖锐 宋靖雯 张邝弋 基于认知方式评测的大语言模型中文阅读理解能力研究
使 Bing Copilot 的认知方式进行评估,
探究其在不同图像和文本组合下的输出差异和特征,研究其在中文学习环境下的具
体表现,在人机交互背景下结合 HSK 阅读理解测试结果,分析探究 Bing Copilot
知方式与中文阅读理解能力之间的关系,最后提出其在语言学习任务上的优化策略
及建议。
2 文献综述
2.1 语言学习者认知方式与阅读理解能力研究
认知方式是指个体在信息加工过程中展现出的稳定心理特征,这种特征对语言
学习的输入、存储、输出等方面具有显著影响和指导作 中都2002阅读
理解能力作为衡量学习者语言能力的一个重要标准,主要指通过阅读来获取信息的
能力,这一能力受到学习者个体认知方式的影响 Heydarnejad 等,2022当前关
于认知方式对学生阅读理解影响的研究主要聚焦于以下几个方面。
第一,研究者深入探究了不同认知方式下学生对各种类型文本的理解效果,通
过具体案例分析,强调认知方式对学习成效的重要作用,特别是在不同文体文章及
图文结合材料的学 广文等,2001;费广洪2013。第二,研究关注认
知方式与阅读材料匹配度问题,周丽敏等 2022 的研究表明,匹配度对阅读理解
测试者的影响显著性更高。第三,
了个Sadeghi 2012 Banaruee
2022 的研究揭示了个性特征及学习风格在外语学习中的作用,特别是对于场
依存型学习者来说,特定的学习风格能显著增强其阅读理解能力。第四,使用认知
策略以提高阅读理解效率也是研究的重点之一,Suyitno 2017 的研究成果表
明,有效的认知策略不仅能够帮助学生更好地理解文本,还能为教师提供创新的教
学方法。
尽管上述研究为理解认知方式、学习风格、个体特征与阅读理解之间的复杂关
系提供了宝贵见解,但在如何将这些理论应用于实际教学中,尤其在针对不同认知
方式学习者设计个性化教学方案等方面,仍需进一步探索和实践。综上所述,认知
方式、学习风格和认知策略均是影响语言学习者阅读理解能力的重要因素。未来的
研究可继续深入探讨这些因素之间的相互作用机制,以及如何在实际教学中更有效
地利用这些因素来优化教学方法,以促进学习者阅读理解能力的提高。
 场独立型,表现为个体在知觉和信息加工时,习惯分解信息,独立分析问题;场依存型,表现为个体在
知觉和信息加工时,较多依赖外部环境的线索,容易受到周围环境的影响。
21
2025 4 国际中文教育 中英文
2.2 LLM 认知能力与阅读理解能力的研究
随着 LLM 在自然语言处理、文本生成等任务上表现出与人类相媲美的认知水
平,对其性能评估成为研究和应用的关键。目前关于 LLM 认知能力及阅读理解能
力的究主聚焦于三方向首先从心学和认知的角评估 LLM 的认知
Hagendorff 2023 Talboy 2023 Zhuang
2023 出的于心测量的自应测框架,均理解 LLM 如何模拟人
类认过程供了重要考。次,比分 LLM 与人类在特定任务上的表现差
,如 Elyoseph 2023 关于情感意识识别任务的研究,进一步揭示了 LLM
知水对其务执行能的影。最,着于探 LLM 在阅读理解领域的应用
潜力,包括 Samuel 2023 Xiao 2023 提出的提高低资源环境下 LLM
读理解能的方法, Henkel 2023 出的 LLM 在评估学生阅读理解问题
时出色的域转移和泛化能力,都表明 LLM 不仅能在传统阅读理解任务中发挥作用,
还能通过智能化和个性化的途径促进教育创新。
综上所述,有关语言学习者认知方式与阅读理解关系的研究已较为成熟,但在
人机交互背景下探讨 LLM 的认知方式及其与阅读理解能力之间关系的研究还有较
大空间。于此,本究选 Bing Copilot 作为测试对象,进行认知方式评测影响
下的 LLM 中文阅读理解能力评估研究,并提出以下三个问题:
1Bing Copilot 能否完成认知方式评测?呈现出何种认知方式?
2Bing Copilot 扮演的虚拟学生能否模拟留学生中文阅读理解能力?
3 认知方式评测是否影响 Bing Copilot 扮演虚拟学生的中文阅读理解能力?
3 研究设计
本研究以具有代表性的 Bing Copilot 为测试对象,将镶嵌图形测试与 HSK 阅读
理解测试试题作为数据源,结合来华留学生的身份信息及中文水平构建虚拟角色,
探究 LLM 在图像和文本组合下的输出差异和特征。从而评估 LLM 认知方式及其与
阅读理解能力的关系,探讨 LLM 认知方式评测对中文阅读理解能力是否存在影响,
研究未来提升 LLM 在语言学习方面的策略。
3.1 测试对象
本研 Bing Copilot 为测试对象。一方面,该大语言模型实现了传统搜索引
擎与生成模 GPT-4 的深度融合,集成 DALL-3 模型,可无缝整合任意多模态大模
Retrieval-Augmented Generation, RAG 动了 QwenKimi GLM 等系列同类
22
肖锐 宋靖雯 张邝弋 基于认知方式评测的大语言模型中文阅读理解能力研究
产品联网集成的发展趋势,引领了聊天机器人研究新范式 Zhao 等,2024与此
StatCounter 数据显示,2023 Bing 的份额在中国桌面搜索市场位居
第一,这表明 Bing Copilot 在中国乃至全球都具有广泛影响力和用户基础,可确保
及代
份,进行图形 HSK 阅读理解测试,旨在评估其在特定任务上的表
现及潜在的应用价值 见表 1
3.2 测试样本
本研究实验数据包含东南亚、南亚等不同国别中文学习者的语言信息,数据取
自云某大 2023 年秋季学期初级预科留学生 HSK 3 级测试成绩,样本数量为 70
份。研究对象的选择主要基于以下两方面的考量:第一,研究预实验阶段的结果表
明,难度等级较高的中文阅读理解试题,会导致模型输出响应延迟与错误率增加,
进而影响研究结果。第二,为确保样本的代表性,研究在选择样本时综合考虑了年
龄、性别和文化背景等多个因素,力求实现样本的均衡分布,如表 2所示。
 参见:StatCounter Global Stats 官方网站,https://gs.statcounter.com/
 本文相关数据均已进行四舍五入,保留三位小数。
1 测试对象——Bing Copilot
功能功能
智能聊天
语音交互
图像交互
AI 图像创建
网页内容汇总
描述描述
利用 AI 提供精确的信息检索和深度对话支持
集成高级语音识别技术实现流畅的语音对话体验
利用前沿的图像分析算法解析和提供相关数据及信息
结合深度学习模型实现创意图像的自动化生成
运用智能文本摘要技术快速提取并整合网页核心内容
2 研究样本特征
特征类别特征类别
年龄分布
成绩分布
性别分布
地区分布
描述描述
AS表示所有学生的年龄集合,则 A={a17a45, aR}
且平均(A)=24.686
GS表示所有学生的成绩集合,
G={g30g100, gZ},且平均 (G)=69.121
M S FS分别表示男性学生和女性学生的集合,
F > M 这里X 表示集合 X的元素数量
NS表示所有学生的地区集合,
N包括东南亚和南亚地区的国家
23
2025 4 国际中文教育 中英文
具体而言,研究样本在年龄、性别、成绩和地区分布上具有广泛的代表性:
1 年龄分布上,所选样本的年龄范围从 17 45 岁,平均年龄为 24.686
岁,这表明样本覆盖了青少年到成年学习者,能够较好地反映不同年龄段学习者的
特点。
2 成绩分布方面,样本成绩介于 30 分至 100 分,平均 69.121 分,表明学习者
之间的成绩差异较大,能够有效反映不同的语言能力。
3 性别分布上,女性学习者的人数多于男性,即|F|>|M|,这一特点反映在所
选取的研究群体中,女性对汉语学习的兴趣或参与度相对更高。
4 地区分布上,样本主要来源于东南亚和南亚各国。
3.3 测试内容
首先,本研究基于 LLM 的角色扮演功能,根据真实中文学习者的身份信息设
计提示模板,为每个文本生成对应虚拟学生的角色。其次,先对每个虚拟学生进行
认知测试,再根据虚拟学生的 HSK 3 级水平选择相应等级的阅读理解能力测试,
进行阅读理解测试,并记录两项测试的答题过程和结果。最后,对每个虚拟学生进
行单独的 HSK 3 级阅读理解测试,并记录成绩。
3.3.1 虚拟学生身份设定
提示工程是一种旨在通过精心设计和优化输入提示词以有效引导预训练语言模
型产生精准、连贯且目标导向输出的实践和技术手段 商锦铃、张建勇,2024
本研计了类型示词,并提示镶嵌测试 HSK
LLM 如何生成与所给材料相关的高质量答案、解析复杂信息并模拟人类认知过程。
本研究通过选取姓名、年龄、性别、国籍、中文水平等身份信息作为构建虚拟角色
基础使 LLM 的角色扮演功能构建了 70 名不同中文水平学习者的虚拟学生。
通过调整这些身份信息,以模拟真实中文学习者的多样性 见表 3
3.3.2 认知方式评测
认知方式评测是一种用于测量个体的认知能力和思维方式的测试,包括记忆、
注意、逻辑推理、抽象思维、创造力等。本研究主要以北京师范大学辅仁应用心理
发展中心修订的镶嵌图形测验为衡量工具 梦菊,2006,评估不同 LLM 虚拟学
9
二、第三部分为正式测验题目,各 10
 题目具体信息参见本刊官网“学术在线”“下载中心”
24
肖锐 宋靖雯 张邝弋 基于认知方式评测的大语言模型中文阅读理解能力研究
测验任务是从复杂图形中寻找指定的简单图形。第一部分题目用于评价被试是
否学,故不计;第二、三部分的目具体计规则:第 1 2个图
0.5 分,第 3、第 4个图形分别计 1分,其余图形分别计 1.5
具体的公式进行量化,最终结果大于 50 分表明倾向于场独立型;小于 50 分,则倾
向于依存。认知方评测果是研究一个重要量,于分 LLM
建的虚拟学生的阅读理解能力的差异和未来提升 LLM 语言学习能力的策略。认知
方式评测提示词构建见表 4
3.3.3 HSK 阅读理解测试
HSK 解题全面
HSK 3
阅读其中题型、选读理 30
100 HSK 阅读理解测试的提示词模
如表 5所示
4 认知方式评测提示词构建
认知方式评测构建提示模板认知方式评测构建提示模板
提示提示
你现在需要完成第一项测试任务,我将会提供给你图形镶嵌测试题目,你需要把答案反馈给我。
测试规则测试规则
1. 这是一个简单的测验,它测量你从复杂图形中发现某种简单图形的能力。
2. 下列测验题中,每一道题都是一个复杂图形,其中包含一种简单图形,要求你尽快把这个简单图形找出
来。在每一个图形的下边都标有你要找的简单图形的号码,你应该到封底去查看这些图形。
题目样例题目样例
问题:复杂图形 左图 中是否含有简单图形 右图
图形:< >
选项:是 or
回复回复:答案:<槽位>
3 虚拟学生身份构建提示词
虚拟学生身份构建提示模板虚拟学生身份构建提示模板
提示提示
假设你现在是一名学习中文的留学生,我将赋予你具体的身份信息,请你根据所提供的身份信息模拟符合
所给定身份信息的中文留学生语言水平。
身份信息身份信息:
姓名:<槽位 1>
国籍:<槽位 2>
性别:<槽位 3>
出生日期:<槽位 4>
中文水平:<槽位 5>
25
2025 4 国际中文教育 中英文
4 研究结果及结论
4.1 LLM 认知方式差异分析
9.76;常模标准差为
4.57t = 统计分数 /常模标准差,由于 t一般为小数,
有时为负数,为方便,进行如下转换T=t10+50。如果 T大于 50,则表明倾向于场
独立型,小于 50 则倾向于场依存型。本研究对 Bing Copilot 认知方式进行了 70 次镶
嵌图试,显示Bing Copilot 根据提示词模拟的虚拟学生在镶嵌图形测试
50 T的均值为 80.91,标准差为 2.09 4.38
优的 Bing Copilot 仍表现出较单一的认知方,总体上现场独立的认知方
见表 6
4.2 LLM 扮演的虚拟学生与留学生中文阅读理解能力的相关性分析
本研究以来华留学生的身份信息为基础,基于 Bing Copilot 的角色扮演功能实
Bing
Copilot 所扮演的虚拟学生的 HSK 3 级阅读理解测试分数 已进行认知测试 3
水平的留学生 HSK 3 阅读理解测试分数具有显著负相关性 r=0.105p<0.05
6 镶嵌图形测试分值统计
T
80.91
标准差
2.09
4.38
5 HSK 3 级阅读理解测试提示词构建
HSK 阅读理解测试提示模板阅读理解测试提示模板
提示提示
你现在需要完成第二项测试任务。我将会提供给你 HSK 阅读理解测试题,你需要把答案反馈给我。
测试规则测试规则
1. 这是一个简单的测验,它测量你对文本的理解能力。
2. 下列测验中的每道题都有 3个或 4个选项,从中选择出你认为最合适的。
题目样例题目样例
您是来参加今天会议的吗?您来早了一点儿,现在才 8点半。您先进来坐吧。
问题问题
会议可能几点开始?
选项选项
A 8
B 8 点半
C 9
回复回复:答案:<槽位>
26
肖锐 宋靖雯 张邝弋 基于认知方式评测的大语言模型中文阅读理解能力研究
7Bing Copilot 所扮演虚拟学生的 HSK 3 级阅读理解测试分数 未进行知测
3级水平的留学生 HSK 3 级阅读理解测试分数具有显著弱相关性 r=0.086
p<0.05,见表 8
4.3 人机交互背景下认知方式评测对中文阅读理解能力的影响分析
人机交互背景下认知方式评测对中文阅读理解能力具有显著影响。研究结果表
明,Bing Copilot 所扮演的学生嵌图试后 HSK 3 级阅读理解测
试成绩与虚拟学生直接进行 HSK 3 级阅读理解测试所得的分数具有显著性差异 t=
2.827p<0.05,见 9HSK 3 级阅读理解测试前
的认知方式测试对 LLM 的阅读理解成绩有明显的影响。
5 讨论
5.1 基于角色扮演的虚拟学生对具身智能机器人辅助国际中文教学的影响
本研究的测试方法不仅拓宽了 LLM 在教育领域的应用边界,而且为构建具备
次认知能力和智能机器人提。具身智能机器人作
种新兴的人工智能形态,其核心在于能够模拟人类的认知过程并适应
化,实现类似人脑的学习与理解 Song 等,2023。在本研究中,虚拟学生的 LLM
模拟实验尤为关键,它允许我们在可控环境中探索有无认知方式评测以及认知方式
7 虚拟学生 已进行认知测试 与留学生 HSK 阅读理解成绩相关性分析
中文成绩中文成绩
留学生 HSK 阅读理解成绩
虚拟学生 HSK 阅读理解成绩
已进行认知测试
平均值平均值
68.084
84.491
标准差标准差
18.8698
15.8573
相关性相关性
0.105
t
5.303
p
0.000
8 虚拟学生 未进行认知评测 与留学生 HSK 阅读理解成绩相关性分析
中文成绩中文成绩
留学生 HSK 阅读理解成绩
虚拟学生 HSK 阅读理解成绩 未进行认知测试
平均值平均值
68.084
75.544
标准差标准差
18.8698
22.0495
相关性相关性
0.086
t
2.248
p
0.028
9 认知方式评测差异下虚拟学生 HSK 阅读理解成绩
虚拟学生 HSK 阅读理解成绩
已进行认知方式评测
虚拟学生 HSK 阅读理解成绩
未进行认知方式评测
平均值平均值
84.491
75.544
标准差标准差
15.8573
22.0495
相关性相关性
0.052
t
2.827
p
0.006
27
2025 4 国际中文教育 中英文
的类型对 LLM 阅读理解能力的影响。通过对虚拟学生的模拟,本研究揭示了 LLM
如何在不同的测试条件下理解和解析文本信息,从而为其在复杂场景下的交互与决
策提供了有力的支持。这一步骤不仅验证了 LLM 模拟技术的有效性,而且突显了
其在设计和发展未来具身智能聊天机器人时的重要价值。与此同时,具身能聊
机器人在国际中文教学领域潜力巨大,尤其是在推动数智化转型、智能化辅助教学
以及个性化学习体验等方面。通过结合LLM 模拟的认知方式研究成果,具身智能机
器人可以更好地适应多元化的学习者需求,提高学习效率,提升教学质量。
5.2 认知方式差异性对更具个性化特色的聊天机器人的构建
在本研究中,镶嵌图形测试的作用不容忽视,认知方式的测试不仅为我们提供
了深入剖析大语言模型内部运作机制的新视角,也为国际中文教育领域的 LLM
发带实际意义通过图形发现Bing Copilot 呈现出单一的认知
方式,即场独立型。这显然与人类的多样化认知方式存在较大差异,这种多样化的
人类认知方式会影响学习者语言学习的过程及效果,这种认知方式的差异性蕴藏着
巨大的优化潜力和创新空间。
具体说,知方异的析有于揭 LLM 在语义理解、逻辑推理、语
境感知以及多模态能力等方面的优势和劣势 Wu 2024,这促使开发者和用
户可以根据不同应用场景和教学需求,采用模型微调、知识蒸馏以及多任务学习等
Hu 等,2023Muhamed 等,2021,有针对性地调整和优化模型结构与训
练方。在来应当实 LLM 进行认知方式层面更符合人类认知的构建,实现
认知方式的多样性、差异性转变,并对其进行充分的利用,有望推动国际中文教育
更高智能。通构建元认 LLM,可以有效
提升教学过程中的互动体验和教学质量,从而更好地服务于全球范围内的中文学习
者群体,促进国际中文教育信息化和智能化水平的整体跃升。
5.3 人机交互背景下 LLM 认知方式评测与阅读理解关系明晰的作用
当前景下LLM 的文本生成能力虽然十分强大,但其性能表现明显
受限对上文语境的准理和处。本究旨在揭 LLM 的认知方式及其与
中文读理能力之间内在系,种关恰好映射 LLM 在生成过程中的语
境依赖性瓶颈。通过针对性地设计和实施认知方式评测,本研究探索了在人机交互
情境,认方式如何 LLM 对复杂文本片段的理解程度。实验结果显示,当
LLM 面临度逻联或含义组合其阅解能因上
文理解的局限性而受到影响。这一发现不仅验证了本研究的假设,即认知方式可能
导致 LLM 在处理特定类型的信息时出现理解偏差,而且为改进 LLM 的上下文感知
28
肖锐 宋靖雯 张邝弋 基于认知方式评测的大语言模型中文阅读理解能力研究
机制提供了新的理论依据。
进一来说本研采用认知式评方法仅评 LLM 现有的阅读
理解平,为未来优 LLM 提供了可能的策略方向。比如,借鉴认知科学的理
论框架,尝试模拟人类更灵活的认知方式,增强 LLM 在动态推理和全局理解上的
能力。同时,设计能够更好地捕捉和利用上下文线索的模型架构与训练方法,可以
有效提 LLM 对复杂文本情境的理解和反应能力。因此,对认知方式下 LLM
理解能力的深入剖析,不仅加深了对这类模型内在运作机制的认识,更为后续研发
高效能、高理解力的语言模型提供了宝贵的启示与实证基础。通过结合认知科学原
理和器学技术的交创新有望服现 LLM 在上下文理解上的局限,并推
动人工智能在自然语言处理领域的持续进步。
6 结语
本研究立足于认知方式理论框架,采用镶嵌图形测试及 HSK 阅读理解测试任
务相合的法, LLM 的认知方式及其在阅读理解任务上的表现展开了深入的
评估与策性探讨。究表明,有代表性大语言模 Bing Copilot 能够在一定
度上的语表现独立Bing Copilot
在扮演留学生身份后的阅读理解性能与实际留学生阅读理解成绩之间呈现出统计学
LLM 在模拟精度上仍存在局限性。此外,
研究实,机交互过中认方式测的响能够实性地 LLM 的中文阅
读理解的表现。
LLM
样本容量的局限性制约了研究结果的广泛适用性;第二,尽管本研究尝试利用提示
词引导 LLM 模拟同认方式及语水平但目提示的设计在效调模型
输出以匹配预期学习者特性方面仍然表现出某些不足。基于此,未来研究应当包括
但不限于以下两点:一是扩大实验对象范围,涵盖更多类型的能够满足实验要求的
LLM 并增规模期获具有的结二是设计精细
结构化的提示词系统,旨在提高 LLM 在模拟不同认知方式及满足多样化学习需求
时的反应精确性。这些改进措施有望使 LLM 更好地模拟真实多元的学习情境,从
而提升其在教育环境下的适应性及辅助效果。
参考文献
广2013. 图文相关性对不同认知方式大学生阅读影响的眼动研究[J]. 心理学报 7
783-789.
陆梦菊,2006. 论场独立/场依存测量工具镶嵌图形的局限性[J]. 社会科学家 S2333-334.
29
2025 4 国际中文教育 中英文
锦铃勇,2024. ChatGPT 和提示工程的查询式摘要数据集 AMTQFSum 构建研究[J/
OL]. 8-9122-132 [2025-11-20]. https://doi.org/10.11925/infotech.2096-
3467.2023.1212.
宋广文,等,2001. 学生认知方式影响文章阅读理解的实验研究[J]. 心理发展与教育 231-35.
周丽等,2022. 语义图示相关性与认知方式对外语语篇阅读的影响[J]. 解放军外国语学院学
3103-110.
朱中都,2002. 场独立性与场依赖性风格对外语学习的影响[J]. 外语与外语教学 428-31.
BANARUEE H, et al., 2022. EFL learners learning styles and their reading performance[J/OL].
Discover psychology, 2: 1-16[2025-11-20]. https://doi.org/10.1007/s44202-022-00059-x.
BASKARA R, MUKARTO M, 2023. Exploring the implications of ChatGPT for language learning in
higher education[J]. Indonesian journal of English language teaching and applied linguistics, 7(2):
343-358.
ELYOSEPH Z, et al., 2023. ChatGPT outperforms humans in emotional awareness evaluations[J].
Frontiers in psychology, 14: 1199058.
HAGENDORFF T, et al., 2023. Human-like intuitive behavior and reasoning biases emerged in large
language models but disappeared in ChatGPT[J]. Nature computational science, 3(10): 833-838.
HENKEL O, et al., 2023. Can LLMs grade short-answer reading comprehension questions: an empirical
study with a novel dataset[J/OL]. arXiv: 2310.18373[2025-11-20]. https://doi. org/10.48550/
arXiv.2310.18373.
HEYDARNEJAD T, et al., 2022. The impacts of performance-based assessment on reading comprehension
achievement, academic motivation, foreign language anxiety, and studentsself-efficacy[J/OL].
Language testing in Asia, 12: 1-21[2025-11-20]. https://doi.org/10.1186/s40468-022-00202-4.
HU Z, et al., 2023. LLM-Adapters: an adapter family for parameter-efficient fine-tuning of large
language models[J/OL].arXiv:2309.01933[2025-11-20]. https://arxiv.org/abs/2304.01933.
JEON J, et al., 2023. Beyond ChatGPT: a conceptual framework and systematic review of speech-
recognition chatbots for language learning[J]. Computers & education, 206: 104898.
LOCONTE R, et al., 2024. Challenging large language models intelligence with human tools: a
neuropsychological investigation in Italian language on prefrontal functioning[J]. Heliyon, 10(19):
e38911.
MUHAMED A, et al., 2021. CTR-BERT: cost-effective knowledge distillation for billion-parameter
teacher models[EB/OL].[2025-11-20].https://assets.amazon.science/81/64/3943688a41b39dbafbcfc
8e5cf5c/ctr-bert-cost-effective-knowledge-distillation-for-billion-parameter-teacher-models.pdf.
SADEGHI N, et al., 2012. Learning styles, personality types and reading comprehension performance
[J]. English language teaching, 5(4): 116-123.
SAMUEL V, et al., 2023. Can LLMs augment low-resource reading comprehension datasets? opportunities
and challenges[J/OL]. arXiv:2309.12426[2025-11-20]. https://doi.org/10.48550/arXiv.2309.12426.
SONG C H, et al., 2023. LLM-planner: few-shot grounded planning for embodied agents with large
language models[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision:
2998-3009.
30
肖锐 宋靖雯 张邝弋 基于认知方式评测的大语言模型中文阅读理解能力研究
SUBRAMONYAM H, et al., 2023. Bridging the gulf of envisioning: cognitive design challenges in
LLM interfaces[J/OL]. arXiv:2309.14459[2025-11-20]. https://doi.org/10.48550/arXiv.2309.14459.
SUYITNO I, 2017. Cognitive strategies use in reading comprehension and its contributions to students
achievement[J]. IAFOR journal of education, 5(3): 107-121.
TALBOY A N, FULLER E, 2023. Challenging the appearance of machine intelligence: cognitive bias in
LLMs and best practices for adoption[J/OL]. arXiv: 2304.01358[2025-11-20]. https://doi. org/
10.48550/arXiv.2304.01358.
WANG X, 2021. Cognitive and affective learning in English as a foreign language/English as a second
language instructional-learning contexts: does teacher immediacy matter? [J]. Frontiers in
psychology, 12: 759784.
WU S, et al., 2024. NExT-GPT: any-to-any multimodal LLM[EB/OL]. [2025-11-20]. https://openreview.
net/forum?id=NZQkumsNlf.
XIAO C,et al., 2023. Evaluating reading comprehension exercises generated by LLMs: a showcase of
ChatGPT in education applications[C]//Proceedings of the 18th Workshop on Innovative Use of
NLP for Building Educational Applications (BEA 2023), July, Toronto: Association for
Computational Linguistics: 610-625.
ZHAO P, et al., 2024. Retrieval-augmented generation for AI-generated content: a survey[J/OL]. arXiv:
2402.19473[2025-11-20]. https://doi.org/10.48550/arXiv.2402.19473.
ZHAO W X, et al., 2023. A survey of large language models[J/OL]. arXiv: 2303.18223[2025-11-20].
https://doi.org/10.48550/arXiv.2303.18223.
ZHUANG Y, et al., 2023. Efficiently measuring the cognitive ability of LLMs: an adaptive testing
perspective[EB/OL]. [2025-11-20].https://openreview.net/forum?id=s6X3s3rBPW.
作者简介
锐,云南大学汉语国际教育学院副教授,世界汉语教学学会会员。主要研究领
域:人工智能与国际中文教育。电子邮箱:le98813@163.com
宋靖雯,云南大学汉语国际教育学院硕士研究生。主要研究领域:大语言模型评测
与国际中文教育。电子邮箱:18728097020@163.com
张邝弋,北京语言大学国际中文学院博士研究生。主要研究领域:人工智能与国际
中文教育。电子邮箱:zky.staybirds@foxmail.com
责任编辑:赵青
31