弗吉尼亚理工等团队提出Epi2Diff,用大模型推理轨迹预测考题难度
弗吉尼亚理工、马里兰大学、MBZUAI与匹兹堡大学的团队提出Epi2Diff,把大模型推理轨迹拆为八类认知片段并结合题目内容,预测人类作答难度,论文已被期刊TMLR接收。
让大模型先解题再从解题过程反推难度,把难度判断从题干语义扩展到解题行为,为题库建设降低预试标定成本提供了新路径。
- 影响对题库与组卷类业务,新题可在考生试测前获得难度预判,压缩预试成本;教育测评的标定流程多了一组可规模化的过程证据;但结果依赖带标签数据与目标人群验证,短期只能作辅助信号。
- 参考有题库的教育或培训业务可考虑盘点现有难度标签的数量与口径,评估是否够训练同类模型;也可先用开源代码在小批新题上比对模型预判与专家审题结论的差异,再决定是否投入。