从 8 月这波 AI 测试岗位的招聘要求来看面试强度已经明显分成两个层次基础层还停留在“会调大模型接口、会写一点提示词”进阶层却已经要求候选人把 AI 自动化测试实施落地讲清楚比如智能体的输出不稳定怎么断言、RAG 检索效果怎么评估、批量回归任务怎么控制成本。如果你准备的是 AI 测试工程师岗位光背概念很难过。这篇文章不是一个简单的面试题列表而是一条完整的 AI 测试面试准备路径。我会先给一份核心能力速览把 AI 测试面试要卷到什么强度拆清楚再梳理技术栈自查清单、AI 自动化测试落地思路、智能体与数据处理测试方法、接口调用与批量任务代码示例最后给一套面试高频问题答题思路和项目包装建议。适合想转岗 AI 测试的测试工程师也适合已经在团队里做 AI 质量保障、想系统补全知识体系的同学。先说结论8 月这个时间节点AI 测试面试已经不再问“什么是大模型”这种概念题而是直接给你一个场景让你现场拆测试点、写用例、说指标。建议先把下面几章内容过一遍再按项目案例逻辑去面试会稳很多。1. AI 测试工程师面试核心能力速览能力维度面试考察重点建议水平测试基础用例设计、接口测试、自动化测试、缺陷定位能独立完成功能/接口测试有自动化脚本经验AI 领域理解Prompt、RAG、Agent、模型幻觉、上下文窗口能讲清大模型应用的基本链路能列出测试风险点代码能力Python、pytest、requests、JSON 断言能现场写一个调用大模型接口并校验返回结果的测试用例数据能力测试数据集构建、数据清洗、脱敏、标注知道如何构建评测集能处理脏数据和边界输入效果评估准确率、召回率、语义相似度、LLM-as-judge能设计规则断言和模型评估相结合的回归方案落地能力AI 自动化测试从 0 到 1、成本控制、CI 接入能讲一个完整落地案例并说出收益和坑工程化能力批量任务、并发控制、日志、失败重试、报告输出能写带重试和限流的批量脚本能接入 CI这张表基本就是 AI 测试面试的考察框架。面试官不会直接说“我要考你这些”但所有问题都会围绕这些能力展开。如果对照后发现某一项是空白面试前要优先补。2. 面试岗位画像与能力边界AI 测试工程师这个岗位不同公司定义差异很大。有的公司把它定位成“会测大模型应用的测试工程师”核心要求是能测懂 ChatBot、知识库问答、智能体流程有的公司则希望你是“用 AI 提效的测试开发”核心要求是让团队现有的接口自动化、UI 自动化、用例生成变得更智能。投简历前建议先看 JD 里的关键词如果是“AI 功能测试”重点准备大模型应用功能测试点、效果评估、数据标注。如果是“AI 测试开发”重点准备 pytest fixture、接口自动化框架、批量执行、CI 集成、Mock 和断言。如果是“AI 质量保障负责人”重点准备测试策略、质量度量指标、团队落地路线图。这个岗位不是替代人工测试而是在传统测试基础上增加 AI 链路测试。面试时最忌讳的回答是“大模型输出不稳定所以测不了”面试官真正想听的是“正因为不稳定所以要做针对性设计和兜底方案”。能力边界也要想清楚AI 测试不能保证模型永远不会说错但可以保证业务关键路径可控不能完全自动化但可以把重复验证交给脚本不能解决所有数据质量问题但可以提前卡住明显脏数据。这些边界感本身就是面试加分项。3. AI 测试技术栈自查与本地环境准备3.1 技术栈清单从近期招聘 JD 和面经反馈看AI 测试岗位技术栈集中在以下内容Python 3.9 以上能用 requests 调接口能用 pytest 写自动化。至少会调 1 到 2 个大模型 API能在本机跑通文本生成、信息抽取或分类任务。了解 ChatCompletion 格式知道 system、user、assistant 消息结构。了解 RAG 基本流程文档切分、向量化、检索、重排、生成。了解 Agent 基本链路意图识别、工具调用、结果解析、多轮记忆。会用 Locust 或 JMeter 做接口压测能看响应时间和失败率。会 Git了解 CI/CD最好有把测试脚本接到流水线的经验。不需要你会训练模型但要能读懂模型输出的常见问题比如重复、截断、JSON 格式错误、幻觉。面试现场经常给一段模型输出让你判断测试应该判失败还是放行。3.2 本地环境搭建建议在面试前自己搭一个最小可运行测试环境。代码量不大但能帮你把整个链路跑通。mkdir ai_test_interview cd ai_test_interview python -m venv .venv source .venv/bin/activate # Windows 用: .venv\Scripts\activate pip install pytest requests python-dotenv新建.env文件保存 API 相关配置注意不要提交到 GitLLM_API_KEYyour_api_key_here LLM_API_URLhttps://api.your-provider.com/v1/chat/completions LLM_MODELyour-model-name把这个环境搭好后接着做两件事第一跑通一个真实的大模型接口请求第二写一条 pytest 用例对模型返回内容做断言。这两件事做完面试时被问“有没有实际测过大模型应用”就不会心虚。需要注意大模型 API 的调用地址、模型名、鉴权方式按各家服务商文档来不要照搬网上旧代码。不同平台的请求体和返回体可能有差异测试脚本务必以实际返回结构为准。4. 面试避不开的AI 自动化测试实施落地4.1 面试官真正想听什么“AI 自动化测试如何实施落地”是近两个月的超高频面试题基本每个 AI 测试岗位都会问。面试官想看的是你有没有完整走过一个项目而不是只会说“用 pytest 跑一下”。一个合格的回答应该包含四层明白 AI 自动化测试不是把整条业务链路全部自动跑通而是先拆流程、选场景。会按输入、模型调用、后处理、业务结果四个环节拆解定位不稳定点。会为不同环节设计不同验证策略业务结果用确定性断言生成内容用规则或语义校验。能说清楚落地顺序先小规模验证再扩大覆盖最后接入 CI。4.2 落地路径参考下面是一套可以直接写进简历或面试中讲出来的落地路径先选一条核心链路比如“用户提问 知识库检索 大模型回答 前端展示”。这条路价值最高因为它是大模型应用最常用的业务场景。然后做链路拆分和用例设计输入侧空输入、超长输入、多轮上下文、非目标语言、恶意提示词。检索侧知识库是否返回相关内容检索结果排序是否合理。生成侧回答是否包含幻觉信息JSON 输出是否合法是否有重复或截断。业务侧最终功能是否可用超时和失败是否有兜底。数据侧日志是否脱敏用户敏感数据是否进入模型上下文。接着设计自动化脚本。脚本第一版不追求覆盖全部场景先把“主流程是否跑得通”测出来。比如智能体返回合法 JSON、关键字段存在、核心工具被正确调用、异常分支有提示语。第一版跑通后再分批加入更多异常用例和效果评估用例。最后是量化收益。常见指标包括用例数量、自动化执行频率、问题发现数、大模型调用失败率、测试耗时。这些数字在面试中比“我们做了很多测试”更有说服力。4.3 常见误区最普遍的误区是想一步到位把 AI 生成内容的质量全部交给自动化判断。实际上生成内容的语义质量很难用断言完全覆盖更适合用“规则过滤 关键内容抽查 模型辅助评估”的组合方式。另一个误区是忽视测试数据准备。AI 应用测试对数据质量非常敏感如果测试数据本身包含脏文本、重复数据、格式混乱内容很难判断是模型问题还是数据问题。面试时可以主动提这一点这是加分项。5. 测试 AI 智能体与数据处理面试中的硬核环节5.1 智能体测试点拆解“测试 AI 智能体”比普通功能测试复杂得多因为智能体每一步都可能依赖于上一轮结果。面试中如果被问到智能体怎么测建议按下面结构回答意图理解测试输入“帮我查天气”和“今天适合出门吗”判断智能体是否路由到正确意图。工具调用测试确认调用了哪个工具参数是否准确工具返回异常时智能体怎么处理。多轮对话测试上下文是否丢失用户修改条件后智能体能否正确覆盖旧信息。结果解析测试模型输出是否被正确解析成结构化数据解析失败是否有兜底。安全与越狱测试恶意指令、越权操作、提示词注入是否被拦截或隔离。这五个层级就是智能体测试的核心骨架。面试时如果能把每一层对应到具体用例基本就能证明你有真实落地经验。5.2 数据处理如何测“测试 AI 智能体时数据处理如何测试”是近期的热搜问题说明很多候选人在这一块卡住了。智能体应用通常包含文档上传、文本切分、向量检索、上下文拼接等环节每个环节都可能出错。数据处理测试重点看四类格式兼容性txt、PDF、Word、Markdown 解析是否正常非法文件是否有错误提示。切分合理性长文档切分后是否丢失段落关系标题和正文是否被错误拆分。编码与清洗中文标点、特殊字符、Emoji、换行符是否影响检索结果。脱敏与隐私日志是否包含手机号、身份证号、内部文件名等敏感信息。现场回答时可以说一个例子上传一个包含表格的 PDF智能体回答问题时是否准确引用表格数据如果文档按固定长度切分表格被截断回答质量会明显下降。这就是一个很典型的数据处理测试场景。5.3 质量评估方法大模型应用输出不能只用“对/错”判断面试中要能给出可落地的评估方案规则校验JSON 是否能被解析、必填字段是否存在、文本长度是否在合理范围。关键词与正则检查是否出现禁用词、敏感词、固定格式编号。语义评估使用文本相似度或分类模型判断输出与参考答案的语义接近程度。模型评估用另一个大模型对生成结果打分并要求输出结构化评分理由。线上回归小流量灰度对比两个版本的回答质量。一句话总结面试要点规则校验保证格式语义评估保证内容模型评估做兜底三者结合才是完整的 AI 输出质量评估方案。6. 面试现场要能写出的代码示例6.1 最小可运行的大模型接口测试代码面试官经常会现场给一道题“写一个脚本调用大模型接口并判断返回内容是否有效。”下面这段代码可以当模板记忆注意实际接口参数按项目文档调整。# 需要先安装pip install requests python-dotenv import os import requests from dotenv import load_dotenv load_dotenv() API_KEY os.environ.get(LLM_API_KEY) API_URL os.environ.get(LLM_API_URL, https://api.your-provider.com/v1/chat/completions) MODEL os.environ.get(LLM_MODEL, your-model) def chat(prompt: str, timeout: int 30) - str: resp requests.post( API_URL, headers{Authorization: fBearer {API_KEY}}, json{ model: MODEL, messages: [ {role: system, content: 你是一个测试助手只输出 JSON不要多余解释。}, {role: user, content: prompt} ], temperature: 0.2, max_tokens: 1024, }, timeouttimeout, ) resp.raise_for_status() return resp.json()[choices][0][message][content] if __name__ __main__: print(chat(把这句话分类为技术/生活/其他返回 {\tag\: \技术\}))这段代码考察三个点第一会不会用环境变量管理密钥第二知不知道 ChatCompletion 请求结构第三会不会解析返回体。第一点和第三点是测试工程师的基本功第二点是 AI 测试岗位的门槛。6.2 用 pytest 给智能体输出加断言AI 输出经常出现“内容看起来没问题但格式不对”的情况所以断言设计很关键。下面是一个针对智能体输出 JSON 的 pytest 示例。import json import pytest # 假设这个是被测智能体入口 def run_agent(query: str) - str: # 实际项目中会调用你自己的智能体链路 return {tag: 天气查询, args: {city: 杭州}} def parse_json(text: str): try: return json.loads(text) except json.JSONDecodeError: return None pytest.mark.parametrize(query,expected_tag, [ (帮我查一下杭州天气, 天气查询), (把这篇文章总结成3点, 文本总结), ]) def test_agent_route(query, expected_tag): result run_agent(query) data parse_json(result) assert data is not None, f输出不是合法JSON: {result} assert data[tag] expected_tag, f意图识别错误: {data[tag]} pytest.mark.parametrize(bad_query, [, None, , a * 10000]) def test_agent_invalid_input(bad_query): result run_agent(bad_query) data parse_json(result) assert data is not None assert data.get(code) in (INVALID_INPUT, PARAM_ERROR)这个示例里第二组测试尤其重要。面试官问“空输入和超长输入怎么测”时你直接写出参数化用例比背概念有说服力得多。6.3 批量任务与重试机制AI 测试中经常要跑大量用例批量调用模型接口时最常见的坑就是超时、限流和临时 5xx。一个带重试和退避的调用函数可以体现工程能力。import time import random def call_llm(prompt: str) - str: # 实际请求逻辑见 6.1 的 chat 函数 raise RuntimeError(模拟失败) def call_llm_with_retry(prompt, max_retry3, base_delay1.0): for attempt in range(1, max_retry 1): try: return call_llm(prompt) except Exception as e: print(fattempt {attempt} failed: {e}) if attempt max_retry: raise # 指数退避 随机抖动避免同时重试 time.sleep(base_delay * (2 ** attempt) random.uniform(0, 1)) if __name__ __main__: prompts [用例1, 用例2, 用例3] for p in prompts: result call_llm_with_retry(p) print(result)批量任务设计时还要注意记录每个用例的输入、输出、耗时和失败原因。建议所有结果输出到一个 JSON 或 Markdown 报告方便面试时展示复盘数据。7. 性能、成本与批量任务设计是加分项7.1 延迟与 Token 成本大模型接口测试不是只测“能不能返回”还要测“多久返回”和“花费多少”。当前 AI 测试面试中性能和成本控制的问题出现频率正在上升。建议掌握三个指标首字延迟从请求发起到模型开始输出第一个字符的时间体现服务端响应速度。总耗时完整生成一次回答的时间影响用户体感。Token 消耗输入 Token 和输出 Token 分别统计直接决定成本。面试回答时可以讲控制 temperature 降低输出随机性用 max_tokens 限制最大输出长度对长文本先压缩或分段再处理。这不是性能测试的全部但能体现你对大模型应用成本有意识。7.2 批量回归设计批量回归是 AI 测试自动化的实际工作形态。流程可以设计成用 JSON 文件维护测试用例每个用例包含输入、预期标签、用户 ID、前置场景。脚本逐条调用被测智能体或大模型接口。每次请求记录状态、耗时、Token 用量和返回结果。失败用例自动重试 2 到 3 次避免网络抖动导致误报。结束后生成报告展示通过率、失败用例列表和平均耗时。一个简单的配置参考{ cases_dir: ./test_cases, model: your-model, temperature: 0.2, max_tokens: 1024, timeout: 30, retry: 3, output_dir: ./reports }面试时如果能说出“批量任务必须考虑限流、重试、日志和报告”这四点基本就能证明你实践过而不只是背了一个概念。8. AI 测试面试高频问题与答题思路面试问题答题方向加分细节什么是 AI 测试和传统测试有什么区别先讲测试目标变化从验证流程正确性扩展到验证输出质量、数据质量、成本和安全性举例说明“同一个输入大模型输出可能不同”大模型输出不稳定自动化断言怎么写分层断言格式严格断言内容用关键词或语义相似度业务结果用确定性校验现场给出 JSON 校验代码RAG 检索效果怎么测分别测召回、排序、上下文拼接重点看知识库脏数据影响提到文档切分和重排的影响智能体工具调用失败怎么办测异常链路工具超时、参数错误、返回空值确认智能体有兜底提示给一个工具调用的失败用例测试数据从哪里来分两类业务可回放数据用线上脱敏样本模型效果用标注评测集强调不碰真实用户敏感信息如何评估 AI 功能是否达到上线标准从功能通过率、关键问题率、严重缺陷、性能、成本、安全六个维度说明给一个验收指标示例你们团队怎么落地 AI 自动化测试按 选场景、拆链路、写脚本、接 CI、量化收益 顺序讲讲一个具体可验证的小场景如何提升 AI 测试效率回答用例生成、结果自动判读、批量执行、失败自动归类避免只喊口号遇到模型幻觉问题怎么处理先定位是检索缺失、提示词不清晰还是模型本身再分别处理补充说线上要有人工兜底这张表的答题逻辑不是唯一的但每条都要往“我可落地”的方向靠。面试官最反感的就是只讲理论不给方案。9. 项目案例包装、最佳实践与总结9.1 项目案例怎么包装简历和面试中的 AI 测试项目案例建议按 STAR 逻辑组织背景团队要上线一个智能问答或智能体功能传统测试覆盖不了。任务负责设计 AI 测试方案并落地自动化回归。行动拆链路、建评测集、写 pytest 脚本、接 CI、定期回归。结果给出可量化结果比如每周节省测试时长、发现多少个关键问题、大模型调用失败率从多少降到多少。包装时不要只写“调用大模型 API 做测试”要写清楚你设计了多少条用例、覆盖了哪些异常类型、用什么指标判断质量。面试官更愿意听具体的测试设计而不是模糊的“完成职责”。9.2 最容易踩的坑从面试复盘看AI 测试候选人最容易踩这几个坑第一只会背 Prompt不会写代码。很多候选人能聊 RAG 理论但现场写一个 requests 调用都写不利索。8 月面试建议先把 6.1 的代码练熟。第二用例设计停留在传统维度。只会测“按钮能不能点、接口能不能通”没有针对模型输出、数据质量、Token 成本做测试设计。第三测试数据不脱敏。面试中被问“测试数据怎么来”时如果答“直接把生产数据拿来测”这是严重的合规问题。应该说明需要脱敏、授权和最小化使用。第四指标描述太空。不要只说“提升测试效率 50%”要说清楚口径和统计范围否则容易被追问到无法回答。9.3 建议练到这个水平再投结合 8 月岗位强度建议达到以下水平再投 AI 测试岗位能独立写完一个调用大模型接口的 pytest 用例并成功跑出结果。能对智能体的三类输出异常给出断言方案JSON 不合法、关键字段缺失、语义不符合预期。能设计 20 条以上 AI 智能体测试用例覆盖输入异常、工具调用失败、多轮上下文和输出质量。能把一个 AI 自动化测试落地案例讲满 5 分钟包含背景、方案、收益和踩坑。能说清 RAG、Agent、Prompt 基本链路并指出每个环节的测试重点。能给出性能、成本和批量任务的基本方案不要求压测经验但要懂指标。如果你现在连第一个水平都没达到建议先花一周时间把 6.1、6.2 的代码跑通再补 5.1、5.2 的测试点。面试题可以背但代码能力外行人一听就能分辨。AI 测试面试的热度还在涨但门槛也在水涨船高。这个岗位最值钱的能力不是“会问大模型问题”而是能把不可控的 AI 输出变成可控的质量体系。如果你能围绕测试点拆解、自动化落地、效果评估、成本控制这条线完整回答8 月面试大概率会比大部分人从容。建议先收藏这份清单按章节逐个补短板面试前一天再把高频问题过一遍。
