OpenAI AI Agent 工程师 - 面试题 & 面经
Q: RLHF 在 Agent 训练中和在普通聊天模型中的应用有什么不同？
💡 思考逻辑： OpenAI 是 RLHF 的先驱，面试官考察你对 RL 在 Agent 场景中应用的深入理解。
参考答案： RLHF 在 Agent 场景的差异：1）奖励信号不同——聊天模型的奖励来自'人类对回答的偏好评分'，Agent 的奖励来自'任务是否成功完成'，可以更客观（检查订票是否成功、代码是否通过测试）；2）延迟奖励——聊天是单轮评分，Agent 需要经过多步（think→act→observe×N）才能得到最终奖励，需要处理 credit assignment 问题（哪一步的决策导致了最终成功/失败）；3）安全约束更严格——Agent 可以执行真实操作（发邮件、修改文件），安全违规的代价远高于聊天说错话，需要在 reward model 中重点建模安全约束（safety reward bonus）；4）探索成本——Agent 的'错误探索'可能造成真实损害，需要在安全沙箱中做 RL 训练，或用 offline RL。OpenAI 的方案是 RLHF + Rule-Based Rewards 混合。
Q: 如何设计 Agent 的对齐（Alignment）策略？如何确保 Agent 不会执行有害操作？
💡 思考逻辑： 对齐是 OpenAI 的核心使命，面试官考察你对安全 AI 的系统化思考。
参考答案： Agent Alignment 多层防御：1）训练层——Constitutional AI 思路：定义 Agent 的行为准则，用 AI 自我评判和修正不当行为，再用 DPO 强化好的行为模式；2）系统层——Hardcoded Safety Rules（绝对不可违反，如不能帮助制造武器）+ Softcoded Rules（可由管理员配置，如是否允许访问互联网）；3）运行时——Input Filter（检测 prompt injection/jailbreak）→ Agent 推理 → Output Filter（检测有害内容）→ Action Validator（高危操作需确认）；4）监控层——实时检测 Agent 行为异常（突然请求大量敏感权限、尝试绕过限制的 chain-of-thought）；5）可解释性——Agent 的每个决策需要可审计的推理链，'黑盒决策'本身就是安全风险。关键洞察：对齐不是一次性的训练问题，而是贯穿整个系统生命周期的持续过程。
Q: o1/o3 等推理模型在 Agent 场景下的优势和劣势？何时该用推理模型？
💡 思考逻辑： o1/o3 是 OpenAI 最新产品线，面试官考察你对不同模型特性的理解和选型能力。
参考答案： 推理模型（o1/o3）的特点：1）优势——a）复杂规划能力显著提升：多步任务的 plan 质量更高；b）数学/逻辑推理准确：涉及计算、逻辑判断的工具调用参数更准确；c）自我纠错：推理过程中能发现并修正错误；2）劣势——a）延迟高：思考链（chain-of-thought）消耗大量 token 和时间，不适合实时场景；b）成本高：同一任务消耗 5-10 倍 token；c）过度思考：简单任务也会生成冗长的推理过程。Agent 场景选型：1）复杂规划/决策——用 o1（如制定旅行计划、分析复杂报告）；2）简单工具调用——用 GPT-4o（如查天气、发消息）；3）混合策略——先用快模型做意图分类，复杂意图转给推理模型，简单意图用快模型处理。这就是'模型路由'策略。
Q: 如何客观评估 Agent 的能力？有哪些主流 Benchmark 和评估方法？
💡 思考逻辑： OpenAI 重视 Evals，面试官考察你对评估方法论的全面理解。
参考答案： Agent 评估体系：1）标准 Benchmark——a）SWE-Bench：软件工程任务（修 bug、实现功能），评估 coding agent 能力；b）WebArena/VisualWebArena：网页操作任务，评估 GUI Agent；c）AgentBench：综合评估多种工具使用能力；d）GAIA：通用 AI Assistant，考察综合推理和工具使用；2）评估方法——a）End-to-End Task Success：最终任务是否完成（二分类）；b）Process Evaluation：中间步骤是否合理（即使结果正确，过程也要评估）；c）Failure Analysis：失败案例按原因分类（规划错误 40%、工具调用错误 30%、理解错误 20%、其他 10%），指导优化方向；3）自动评估——LLM-as-Judge（用强模型评弱模型的输出），但需要与人工评估做 correlation 校准；4）对抗评估——Red Team 尝试让 Agent 犯错/做坏事，测试鲁棒性。
Q: Function Calling 的底层实现原理？模型是如何学会'何时调用工具、如何生成参数'的？
💡 思考逻辑： OpenAI 的 Function Calling 是 Agent 基础能力，面试官考察你对底层机制的理解，不是只会调 API。
参考答案： Function Calling 训练原理：1）数据构造——收集/生成大量'用户请求 → 应该调用的函数 + 参数'训练样本，数据格式类似：input='帮我查北京明天天气' → output={name:'get_weather', args:{city:'北京', date:'2025-01-16'}}；2）训练方式——SFT 阶段在这些结构化数据上微调，模型学会在特定 token 位置输出函数调用的 JSON 格式；3）模型内部表征——Function Calling 本质上被编码为一种'特殊的文本生成模式'，system prompt 中的工具描述让模型知道'有哪些工具可用'，模型在解码时根据上下文决定是生成自然语言还是结构化调用；4）关键技术——Constrained Decoding 确保输出的 JSON 格式合法（不会生成半个括号）；parallel function calling 让模型可以一次输出多个独立的函数调用。挑战：参数幻觉（生成了工具定义中不存在的参数）、调用时机误判（不该调用时调用）。