本文记录我参加 GPASS AI 眼镜智能体开发者大赛的完整开发过程包括方案选型、技术实现中的坑和解决方案。希望对想在百宝箱平台开发AI眼镜应用的开发者有参考价值。前言为什么做社交记忆助手参加这个比赛之前我一直在想一个问题AI眼镜能做什么手机做不了的事答案不是更大的屏幕或更酷的交互而是隐蔽性和即时性。想象一个商务场景你在交流会上遇到一个人对方热情地跟你打招呼但你完全想不起他是谁。这时候掏手机查通讯录太刻意了问对方你是太尴尬了戴着AI眼镜拍一张对方毫无察觉AI在耳边告诉你这是李明智联科技CTO上次聊了合作这就是知面的由来——一个让你再也不忘任何人的社交记忆外脑。技术选型为什么选百宝箱百宝箱是蚂蚁集团的智能体低代码平台最大的优势是它直接对接了GPASS智能眼镜的硬件能力。不需要自己处理语音识别、TTS、摄像头调用这些底层问题只需要关注业务逻辑语音输入开始节点自动注入拍照拖一个眼镜设备拍照采集节点语音回复直接回复节点自动走TTS开发模式就是拖节点 → 写 prompt → 连线 → 测试。架构设计五条链路搞定所有场景经过反复推敲我把所有交互归纳为5个意图记录(RECORD) → 从对话中提取人物信息 建档(REGISTER) → 拍照注册人脸 识人(RECOGNIZE) → 拍照搜索人脸 召回档案 回忆(RECALL) → 语音查询某人信息 更新(UPDATE) → 修改已有档案整个工作流就是一个入口意图识别 分支路由 5条独立链路。逻辑清晰互不干扰。踩坑记录坑1眼镜是持续监听的一开始我按照传统App的思路设计——用户按镜腿触发动作。后来发现GPASS眼镜是持续监听模式用户每说一句话就触发一轮工作流。这意味着你跟别人聊天的每一句话都会进入工作流意图识别必须能区分对AI的指令和跟别人聊天大部分时候应该保持静默解决方案意图识别prompt里加了严格的排除规则普通陈述句/寒暄一律归为OTHEROTHER链路只输出一个句号不会被TTS播报。坑2阿里云人脸API不接受非OSS图片阿里云视觉智能的人脸搜索API常规方法要求图片必须是上海地域OSS链接。但GPASS拍照返回的URL显然不是OSS地址。解决方案改用Advance方法。先用urllib下载图片为二进制数据再通过io.BytesIO流式上传fromurllib.requestimporturlopen,Requestimportio reqRequest(url,headers{User-Agent:Mozilla/5.0})img_dataurlopen(req,timeout10).read()requestSearchFaceAdvanceRequest(db_namesocialmemory,image_url_objectio.BytesIO(img_data),limit1)responseclient.search_face_advance(request,runtime)坑3知识库语义检索会误召回用户说刘翔跳槽到阿里巴巴了更新一下结果知识库语义检索匹配到了一条包含阿里巴巴的张明档案——因为语义相似度高。解决方案在RECALL和UPDATE链路中先用大模型提取人名关键词再用人名去检索。这样搜索的query是刘翔而不是整句话精度大幅提升。坑4意图识别太慢最初用DeepSeek-V4-flash做意图识别每次1-2秒。对于持续监听模式这个延迟会导致用户说完话后要等一会儿才有反应。解决方案换成Ling-2.6-Flash蚂蚁百灵系列速度快了很多。意图分类本身是简单任务不需要大模型的全部理解力轻量级模型完全够用。坑5链路A和链路B的跨轮次传参链路A记录了一个人生成了entityId链路B拍照建档需要用这个entityId。但两者是不同轮次的对话没有全局变量可以传递。最初的方案是在链路A的回复里带上entityId让链路B从历史对话中提取。但这导致回复很不自然“已记录。张伟XX科技CTO。档案ID: zhangwei_20260708”——用户听了一脸懵。解决方案entityId的生成规则是确定的姓名拼音_日期两条链路各自按规则独立生成结果天然一致。链路B只需要从历史中提取人名大模型自己按规则拼出entityId。坑6普通对话误触发RECALL用户跟别人聊天时说好嘞张明总智联科技对吧被意图识别判为RECALL——因为里面有人名。解决方案RECALL和UPDATE必须同时满足两个条件①包含具体人名 ②包含明确的指令词“是谁”/“准备见”/“更新”/“修改”。纯陈述句即使提到人名也不触发。开发时间线天数完成内容Day 1方案设计、赛道选择、核心流程梳理Day 2阿里云人脸服务开通、Python插件本地验证Day 3百宝箱工作流搭建意图识别 链路C识人Day 4链路A记录 链路B建档联调Day 5链路D回忆 链路E更新 空结果兜底Day 6全流程优化模型换Ling-Flash、意图prompt调优Day 7Demo录制 文档整理给后来者的建议先确认交互模型百宝箱GPASS是持续监听还是按键触发这决定了整个架构设计意图识别是核心花足够时间调优prompt它决定了所有链路的入口准确性用轻量模型做分类意图识别不需要大模型换Flash级别的模型能显著提升响应速度流式上传解决图片问题阿里云API的Advance方法是万金油兼容任何图片来源结构化知识库优于非结构化CSV UPSERT模式天然支持更新不会产生重复文档先跑通最简链路我的顺序是 链路C(识人) → 链路D(回忆) → 链路A(记录) → 链路B(建档) → 链路E(更新)从简单到复杂最终效果五大功能完整闭环全程语音交互平均响应时间2-3秒记录从对话中自动提取人物信息建档拍照注册人脸与档案关联识人拍照即知对方身份和历史回忆语音询问获得破冰建议更新一句话更新已有档案写在最后这是我第一次给AI眼镜开发应用。最大的感受是眼镜的形态本身就是产品力。同样的功能做在手机上用户需要解锁→打开App→点按钮→等结果。而在眼镜上只需要说一句话AI就在耳边回答你。这种零摩擦的体验是手机永远给不了的。如果你也对AI眼镜开发感兴趣百宝箱的低代码方式确实降低了很多门槛。核心精力可以放在场景设计和prompt调优上而不是底层的硬件适配。本文为 GPASS AI 眼镜智能体开发者大赛参赛记录。项目名知面。
