多数人用 AI 出考核题,是直接丢一句「帮我出 20 道培训题」,拿到一堆看着像题的文字就收工。结果题目重复、难度忽高忽低,考的和讲的不是一回事,考完也说不清谁哪项能力不过关。问题不在模型,在于没有先把「能力点」拆出来,让每道题挂在一个明确的能力点上。
先拆能力点,再谈出题
判断:如果一份题库不能回答「这道题在考什么能力」,它就没有考核价值,只有练习价值。出题前必须先有一张能力点清单,这是整件事的地基。
做法:从培训材料里倒推,把每章内容压缩成 3 到 6 个可观察的能力点,用「能做什么」来写,不用「了解什么」来写。比如「能独立完成新员工入职手续的线上录入」比「熟悉入职流程」可用得多。能力点数量控制在 15 到 30 个,太多会稀释重点。每个能力点标注掌握层级:知道、会做、能判断异常。
让 AI 按能力点逐条出题,而不是批量出题
判断:一次性让 AI 出几十道题,它会在少数几个显眼的知识点上反复打转。按能力点逐条调用,才能保证覆盖均匀、难度可控。
做法:把能力点清单和对应材料片段一起给模型,一次只出一个能力点的题,要求它说明这道题为什么对应这个能力点。下面这段提示词可以直接复制,把方括号内容替换成你的材料:
你是企业培训考核的出题人。下面是一个能力点和对应的培训材料。
能力点:[填写能力点,用「能……」的句式]
掌握层级:[知道 / 会做 / 能判断异常]
培训材料:[粘贴该能力点对应的原文,不超过 800 字]
请出 3 道题:
1 道考查基本概念(单选)
1 道考查操作步骤或顺序(单选或多选)
1 道情景判断题(给出一个工作场景,问该怎么处理)
要求:
- 每题只考这一个能力点,不夹带其他知识点;
- 干扰项要来自常见错误,不要凑数;
- 每题后附:正确答案、解析、对应的能力点、难度(易/中/难);
- 如果材料不足以支撑某道题,直接说明缺什么,不要编造。
拿到结果后人工过一遍,重点看干扰项是否真的像错误答案,以及解析是否说清了判断依据。
用同一能力点交叉验证题目质量
判断:单次生成看不出题目好坏,把同一能力点的题放在一起比对,问题会立刻暴露。
做法:把某个能力点下的所有题集中,检查三件事:是否重复考同一个细节;难度是否都挤在同一档;情景题是否真的需要判断,还是换个说法考记忆。发现偏斜就补出题,而不是删题了事。可以再让模型做一次自查,把该能力点的全部题目贴回去,问「这些题是否有重复、是否有超出材料范围的假设」,让它列出可疑项。
把题库结构固定下来
判断:题库的价值一半在题,一半在结构。没有结构的题库,考完出不了能力画像。
做法:每道题至少保留这些字段:题号、能力点编号、掌握层级、题型、题干、选项、答案、解析、难度、来源材料位置。用表格或题库系统存,不要散在文档里。组卷时按能力点抽题,保证每个能力点至少一题,再按层级配比,比如「会做」类占六成。这样考完能直接算出每个能力点的得分率,培训改进才有落点。
什么情况下不适用
这套方法有明确边界,遇到以下情况不要硬套:
- 考核涉及安全操作、医疗、法律、财务合规等高风险内容,AI 生成的题只能作为草稿,必须由具备资质的专业人员逐题审定,最终以专业意见和现行规范为准。
- 培训目标是态度、协作、沟通这类难以用客观题测量的能力,题库只能覆盖其中可观察的行为片段,不能替代实操评估和上级评价。
- 材料本身缺失或过时。模型会顺着材料编出看似合理的题,材料不对,题一定不对。
- 题库规模很小、只考一次。手工出十几道题的成本可能低于搭这套流程的成本。
- 需要高区分度的选拔性考试。按能力点均匀覆盖的题库适合达标考核,不适合拉开分数差距。
判断标准很简单:如果一道题找不到它对应的能力点,或者找到了但没人能审定它是否正确,就不要放进正式考核。
