报告系统综述了大语言模型（LLMs）心理测量学领域，聚焦评估、验证与增强三大核心方向，构建了跨学科研究框架。

核心概念与理论基础

大语言模型心理测量学（LLM Psychometrics）是结合心理测量工具、理论与原则，评估、理解和增强LLMs类人心理特征的交叉学科。其核心是量化LLMs的人格特质（如性格、价值观）与认知能力（如推理、社会互动），弥补传统AI基准测试在评估复杂心理构念上的不足。

心理测量学理论为该领域提供方法论支撑，包括经典测试理论（CTT）和项目反应理论（IRT），前者关注测试信度与效度，后者通过动态调整测试难度优化评估效率。LLMs的 autoregressive 生成特性和涌现能力，使其心理特征评估需兼顾统计严谨性与模型行为特殊性。

评估维度与方法

人格构念：涵盖性格特质（基于大五人格、HEXACO模型）、价值观（Schwartz理论）、道德观（道德基础理论）等。评估工具多改编自人类心理量表，如用NEO-PI-R测量性格，通过情景题评估道德判断。

认知构念：包括启发式与偏差（如锚定效应）、社会互动能力（如心智理论）、语言心理机制（如语义理解）等。常用方法有虚假信念任务测试心智理论，CRT（认知反射测试）检测推理偏差。

展开剩余84%

评估方法分结构化测试（选择题、评分量表）与非结构化测试（开放式对话、多智能体模拟）。数据来源包括成熟量表、定制化任务和AI生成合成数据，通过提示工程（如角色扮演、思维链）和模型输出分析（规则评分、LLM-as-judge）实现量化。

验证与增强策略

信效度验证：信度关注测试一致性（如重测信度、评分者信度）；效度包括内容效度（测试覆盖构念完整性）、结构效度（与理论模型契合度）等。LLMs存在提示敏感性和数据污染问题，需通过多版本测试和动态生成题项缓解。

模型增强：基于心理测量 insights 优化LLMs，包括特质操控（通过提示或微调调整人格）、安全对齐（关联价值观与安全行为）、认知增强（结合情绪提示提升推理能力）。

挑战与趋势

当前挑战包括：人类心理构念与LLMs内在表征差异、评估结果的生态效度不足、跨语言与多模态评估工具缺失。未来方向聚焦：开发LLMs专属心理构念框架、推进IRT在动态评估中的应用、构建从评估到增强的闭环体系，推动LLMs更可控地融入社会应用。

该领域为理解AI心理特征提供了科学框架，助力平衡技术进步与伦理安全。

免责声明：我们尊重知识产权、数据隐私，只做内容的收集、整理及分享，报告内容来源于网络,报告版权归原撰写发布机构所有，通过公开合法渠道获得，如涉及侵权，请及时联系我们删除，如对报告内容存疑，请与撰写、发布机构联系

发布于：广东省