20 题自测：AI 基础、评测与选型20-question self-test: fundamentals and evaluation

怎么用How to use

先只读题目，把答案写在纸上；做完再对答案。每题 2 分，共 40 分。

• 36–40：优秀，可以直接带新人。
• 28–35：合格，回看错题对应的站内页。
• 27 及以下：先走「选型决策者路线」，再回来重做。

题目Questions

1. RAG 的标准流程分哪三段？各解决什么问题？ 2. 什么情况下不该用 RAG，而应该直接调用模型或改流程？ 3. 文档分块过大和过小各有什么代价？ 4. 混合检索（关键词 + 向量）主要弥补什么缺口？ 5. 重排（rerank）在 RAG 里起什么作用，代价是什么？ 6. 挑 embedding 模型时，除维度外还要看哪三件事？ 7. 「上下文窗口越大越好」为什么是误区？至少说两点。 8. 「量化会让模型能力减半」为什么是误区？正确说法是什么？ 9. 显存不够就一定跑不了本地模型吗？说明两种可行做法。 10. 读模型许可证时，哪两个条款决定能不能商用与再分发？ 11. 模型卡里最该先看哪四项？ 12. 公共榜单分数能直接采信吗？说明两个打折理由。 13. 防提示注入的三条基本做法是什么？ 14. 给 AI 工具配权限的四条原则是什么？ 15. 列出三条常见的 AI 数据泄露路径。 16. 对照 EU AI Act 自查的正确顺序是什么？ 17. 国内什么情况下需要做生成式 AI 备案？ 18. 换模型前必须核的五件事是什么？ 19. 成本算式里除了 token 单价，还要算哪三类成本？ 20. 验证 AI 输出的四个可操作动作是什么？

参考答案Answer key

1. 检索（找到相关片段）→ 重排（按相关性排序）→ 生成（基于片段作答并引用）。 2. 知识不在文档里、需要实时查询、权限边界极复杂，或任务本身只需推理与格式转换时，RAG 会增加链路与失败点。 3. 过大：噪声多、命中不精、浪费上下文；过小：丢上下文、指代断裂、答案碎片化。 4. 专有名词、编号、错误码等精确匹配；向量对这类词不敏感，关键词检索补上。 5. 在召回后按相关性重新排序，提高 top-k 精度；代价是额外模型调用与延迟。 6. 语言覆盖、单位成本与吞吐、在你的领域数据上的自建评测。 7. 中间信息容易被忽略；长上下文成本更高；塞满不等于理解，检索质量仍决定答案。 8. 量化损失依任务与位宽而定，4-bit 在很多任务可用；必须自测，不是固定减半。 9. 不一定；可用更低比特量化、CPU/内存 offload、张量并行，代价是速度与质量下降。 10. 商用范围与再分发/衍生作品条款；「开源」不等于「可商用」。 11. 训练数据与用途、评测方法与结果、已知限制、版本与日期。 12. 评测集可能被污染；提示词与任务分布不同；厂商自报口径不统一。 13. 把外部内容当不可信数据；指令与数据分离；最小权限 + 输出校验。 14. 最小权限、白名单、关键动作审批、权限可撤销。 15. 提示词里带敏感信息、检索语料越权、日志与导出、工具调用把数据发到外部。 16. 先定角色（提供者/部署者）与风险档，再查禁用清单与透明性义务，最后对时间表。 17. 面向境内公众提供生成式 AI 服务，且具有舆论属性或社会动员能力时，需安全评估与算法备案。 18. 自建评测、接口差异、提示词重测、许可与数据条款、回滚方案（再加线上指标收尾）。 19. 席位/固定成本、显存与电费、人工复核与返工；视频任务再加秒数与尝试次数。 20. 引用回原文、第二人复核、边界与拒答题、记录失败与改法。

评分标准Scoring

简答题按要点给分：答对核心 2 分；答对一半 1 分；答错或空白 0 分。

复习路线Review path

• 基础概念：learn 站「AI 是什么」与「怎么回事」两站。
• 评测与验证：怎么评测 RAG 的效果、怎么验证 AI 的输出、模型评测的局限。
• 选型与合规：选型决策者路线、怎么查生成式 AI 合规义务、怎么对照 EU AI Act 自查。
• 动手：按顺序做 exercise-builder → exercise-creator → exercise-manager。

出处Sources

资料核验日期：2026-11-03。产品功能与条款可能变化，使用前请核对原始来源。Sources checked: 2026-11-03. Features and terms may change; check the original sources before use.