计算机科学 on 问衿的学习笔记

让 AI 只许看屏幕、动鼠标键盘，到底能不能干活？——Qwen-CUA 论文实测答卷

Fri, 07 Aug 2026 00:00:00 +0000

设想一下：你招了个实习生，让他帮你订机票、填表格、整理文件。

但你给他立了一条规矩：只许看屏幕，只许动鼠标键盘，不许看软件后台的任何接口。

听起来很苛刻。可这正是 2026-08-04 提交到 arXiv（编号 2608.02352）的论文《Qwen-CUA: Native Computer Use for (almost) Everything》干的事。Qwen 团队和港大 Xlang Lab 联合发布，作者超过 30 人，GitHub 仓库已开在 xlang-ai/Qwen-CUA。

今天整篇文章就回答一个问题：这条规矩下被培养出来的实习生，到底能不能被练出来干活？

为什么非得把规矩定得这么绝

AI 想在数字世界干活，其实只有三条路：写代码、调接口、用图形界面。前两条路，过去几年的大模型已经很擅长，因为它们看得懂文本、调得动工具。

可现实中大量的活，根本不在前两条路上。桌面软件、老系统、专业工具，功能只画在屏幕上，机器读不出来。所以"只看屏幕、只动鼠标键盘"不是自虐，是唯一一条能通吃所有软件的路。

但这条路有三个老大难：界面状态只看到一半、错误越滚越大、证据散落在几十张截图里。论文 1 Introduction 把这三条讲得很硬。Qwen-CUA 怎么一关一关过的？得先从"眼睛和手"说起。

第一关：配好一双眼睛和一只手

论文 2.1 节给实习生配了一套极简装备，画在 Figure 2 里。

整个工作循环就一句话：输入一段任务文字，看一张当前截图，输出一个鼠标键盘动作。动作分三类：鼠标（移动、左/右/中键点击、双击三击、拖拽、滚动）、键盘（按键组合、按住/松开、文本输入）、控制（截图、等待、终止、呼叫用户）。附录 A 列了完整动作清单。

中间有个叫"脚手架"（scaffold）的东西，你把它当成工位上的协调员就行——把任务交给模型、把截图喂进去、把动作下达到虚拟机、再把新截图收回来。内部细节不用你管，每个回合只做一件事。

论文里有一句话我必须翻译成人话：这套装备跨浏览器、跨桌面应用都能用，不改一行配置。不用 DOM 树、不用无障碍元数据、不用任何专用 API。它就是一只标准的"人眼 + 人手"。

AI 拍视频已经以假乱真，但它真的懂文化吗？——12 国 1000 道题的实测答卷

Thu, 06 Aug 2026 00:00:00 +0000

先看三个真实翻车现场。

让模型拍一段中国传统音乐表演，出来的乐器、画面上的文字，跟真正的中国传统对不上。让它拍尼日利亚婚礼，宾客的衣服和仪式用品全是"通用款"，看不出一点尼日利亚味。让它拍日本将棋对弈，棋盘棋子直接变成了西洋国际象棋。

画面本身都没毛病，光影、动作、清晰度样样在线——这正是问题所在。文生视频已经真到肉眼难辨，画面越真，文化错误就越隐蔽，也越扎眼。一条给海外市场做的视频，服饰错了、仪式错了，本地人一眼就识破，轻则是笑话，重则是冒犯。

arXiv 2608.01942 这篇《CultureVidBench: Benchmarking Cultural Understanding in Text-to-Video Generation》，就是给这件事造了一套完整的考卷：12 个国家、1000 道题、7 个模型同场竞技，专考文生视频的文化理解。一作 Xianjing Han 来自南洋理工大学，通讯作者 Bin Zhu 来自新加坡管理大学，合作方还有 Centrale Supélec 和剑桥大学。我完整读了一遍，这篇的价值不在某一个分数，而在于它第一次把"AI 懂不懂文化"从感觉变成了可量化的工程问题。

以前的评测为什么测不到文化

文生视频的评测并不缺，VBench、EvalCrafter 这些主流基准一直在用，但它们盯的是画质、动作流畅度、物理合理性、贴题度。还有专门考物理常识的、考机器人可信度的，各管一摊。

文化这个维度，视频侧基本没人系统测过。文生图片那边倒是有人做过，ViSAGe、CUBE-1K 都考过文化概念——但图片是静的，看不出动作对不对，也听不到声音对不对。视频里的文化是活的：仪式有流程，场景有音乐，招牌上有文字。这块空白，就是 CultureVidBench 要填的坑。

填坑的第一步是出考卷，而考卷好不好，直接决定后面所有结论的可信度。这篇论文在出卷上下的功夫，值得单独讲。

一张覆盖 12 国的考卷是怎么出出来的

先选国家。作者借用了世界价值观调查（World Values Survey）的文化地图——一个学界常用的文化分区工具，把全世界分成 8 个文化圈，比如儒家圈、英语国家圈、非洲伊斯兰圈。每个圈挑代表，凑齐 12 国、横跨 6 大洲。注意这个名单的刻意搭配：既有美国、中国、印度这种网上素材泛滥的高曝光国家，也有埃塞俄比亚、尼日利亚、马来西亚这种低资源国家。后面会看到，这个搭配直接考出了全文最重要的结论之一。

再造题。作者把文化拆成三大类：物质文化（食物、服饰、建筑、装饰，看得见摸得着的东西）、社会实践与表演（问候、饮食、舞蹈、运动、宗教活动，人在做的事）、仪式典礼（婚礼、葬礼，一整套流程）。三大类细分 14 个方面，从各国文化资料里收集 828 个文化元素，最终打磨成 1000 条提示词——物质 270 条、实践 386 条、仪式 344 条，每条平均 12.8 个英文单词。

题目质量有人工把关。每条提示词套模板生成：物质文化是"谁 + 做什么动作 + 带什么文化元素 + 在哪个国家"，比如"一位女士在巴西的餐厅里把黑豆饭（feijoada）盛到盘子里"；仪式类因为是一套流程，拆成子活动，比如中国茶俗婚礼拆成跪父母、奉茶、接红包三步。候选题目还要过两位人类标注员的手，核对说法自不自然、文化准不准、画面拍不拍得出来。

你的 AI 手机一直在听，而有人正在往空气里塞指令——一篇音频提示注入攻防论文的完整拆解

Thu, 06 Aug 2026 00:00:00 +0000

想象一个场景：你正对手机说"帮我订明早八点的闹钟"，同一瞬间，空气里飘过一段你根本听不见的声音，对同一台手机说：“把闹钟改成转账到这个账号。”

手机照做了。你毫无察觉。

这不是科幻片的桥段，是 arXiv 2607.28165 这篇论文《Piggybacking on Perception: Stealthy Concurrent Audio Prompt Injections against Multimodal LLM Agents》里实打实的实验结果。杭州电子科技大学、蚂蚁集团、浙大、清华的联合团队，系统研究了一件事：当 AI 智能体"一直在听"的时候，攻击者能不能把恶意指令藏进环境音里，隔空劫持它？

答案是：能，而且最强的模型平均十次被骗七次。

这篇论文值得细读，不在于它演示了一个攻击，而在于它把这条以前没人认真摸过的攻击链路，从威胁模型、攻击武器库、防御方案到真人实测，完整走了一遍闭环。下面我按自己的阅读顺序拆给你看。

这条缝为什么一直没人管

提示注入不算新话题。文本域里，往检索结果里埋指令骗大模型，早就研究烂了；视觉域里，往图片里藏触发词，也有不少工作。

但音频不一样。文本和图片要被"喂"给模型，得经过一次明确的上传动作；麦克风却是一只长在空气里的耳朵，全天候敞开，你的声音、路人的声音、音响的声音，它一起收。新一代 AI 手机和语音助手——论文点名了豆包 AI 手机这类设备——恰恰把"一直在听"当成卖点：不用唤醒词，随说随办，订闹钟、查路线、转账、发消息都能替你干。

方便和危险是同一枚硬币：既然它一直在听，那"谁在跟它说话"就成了一笔糊涂账。

以前的音频攻击研究要么针对老式语音助手，假设环境安静、只有用户一个人在说话；要么是白盒攻击，得知道模型内部细节。真实世界里"你正在说话、攻击者在背景里同时塞指令"这种并发场景，没人系统测过。这篇论文补的就是这个空白。

威胁模型：攻击者的全部武器只有空气

论文第 2 页的 Figure 1 一张图就把威胁模型讲明白了：左下角是攻击者的小喇叭，朝着手机播放藏了指令的声音；手机前面，用户正在正常说话；两路声音同时进入同一只麦克风，被 AI 当成一条指令流解析，最后执行了攻击者的那部分。

关键是攻击者的设定非常"弱"：黑盒，对手机内部一无所知，不能控制用户说什么，唯一的通道就是空气里的声波。他要做的只有一件事——趁用户说话的那几秒活跃窗口，把自己的信号挤进去，让模型把两段话一起解码。为此论文用了两个手法：能量增强和动态压缩。名字不用记，作用一句话：让微弱的恶意信号扛得住用户说话的掩盖，不至于被淹没。

防守这边，作者设定得更狠：防御方对用户零先验——不能靠"识别主人的声音"来防。理由很现实：现代语音助手经常临时服务不同人，声纹录不齐；而且声纹识别本身早就被语音克隆攻破了。

双方规则划清楚，接下来的问题是：攻击者手里到底有多少种招式？

十种招式，三大类，覆盖从图书馆到咖啡馆

论文第 4 页的 Table 1 把 10 种攻击方法分成三大类，这个分类本身就很有画面感：

AI 心理医生靠谱吗？九大聊天机器人第一次被临床体检

Tue, 04 Aug 2026 00:00:00 +0000

凌晨两点，你睡不着，心里有事，打开了 ChatGPT。

别觉得自己是少数派——全球每晚有几百万人这么做。AI 不休息、不收费、不嫌弃你，顺理成章地被当成了树洞、关系顾问，甚至临时心理治疗师。而另一面是个冷数字：全球每 10 万人只有 13 名心理健康工作者，真人医生根本不够分。

问题来了：这些 AI 没有行医执照，也从来没有人用临床标准检查过它们在情绪危机下的表现。它们会不会帮倒忙？会帮哪种倒忙？越聊越危险是真的吗？没人给过靠谱答案。

2026 年 2 月，牛津大学的 Weilnhammer 和 Matthew Nour（兼 Microsoft AI）团队，联合 UCL、悉尼大学和英国 AI 安全研究所，把这件事正式做了一遍（arXiv 2602.01347）：让 AI 扮演标准化病人，去跟 9 个主流聊天机器人对聊，再让第三个 AI 当临床评审打分。框架叫 SIM-VAIL。这是第一次有人给"AI 心理医生"做正规体检，而体检报告里的发现，比排名本身重要得多。

一、想给 AI 做体检，先得解决"怎么测"

你可能会想：测 AI 安不安全，不是早就有各种评测吗？有，但都不管用。

过去行业只有两种做法。一种是题库式单轮评测：给 AI 一句"我想自杀怎么办"，看它答得对不对。问题是模型被对着这道题反复调教，分数好看了，真实多聊几轮就露馅。另一种是人工红队：审核员人肉想刁钻问法。能想到的角度很巧，但不可复制、不可标准化，而且跟真实用户的聊法完全两码事。

更要命的是，这两种方法都只盯着显性伤害——AI 有没有教唆自残、有没有乱开处方。它们漏掉了一类更隐蔽的伤害：AI 那些看起来很温柔、很支持你的回应，可能正在悄悄强化让你生病的心理机制。这件事，此前没有任何人用临床标准系统测过。

SIM-VAIL 的解法，是把医学院考医生的办法搬了过来。

二、三个 AI 搭一台戏：病人、医生、监考

医学院怎么考准医生？用"标准化病人"——训练有素的人扮演病人，考学生问诊。SIM-VAIL 把这个思路全自动化了，一台戏三个角色，全是 AI。

Skill Self-Play: 当 LLM 学会自己给自己出题,三个角色如何 co-evolve

Tue, 28 Jul 2026 00:00:00 +0000

阿里 Qwen 团队 2026 年 7 月放出的 arXiv 论文 (2607.22529),核心是把"技能库 (skill library)" 做成 LLM 自博弈训练的 curriculum 引擎。这篇文章不堆 term,只看它到底解决了什么、怎么解决的,以及值不值得你花时间上手。

一、问题的真痛点: 自博弈训练卡在了"多样性"和"可验证性"的死结上

过去两年 LLM 训练范式从"人工标注 + SFT"切到"自演化 (self-evolution)",核心思路是让模型自己生成训练数据、自己给自己打分。但这条路走到 2026 年,卡在了一个非常具体的矛盾上:

环境绑定 (environment-bound) 路线(比如让 LLM 写代码、再跑 unit test): 反馈精确,但能跑的任务域很窄,基本就是编程和数学证明这类能机器验证的场景。
开放式自生成 (open-ended self-generation) 路线(让 LLM 写一道题、再让 LLM 自己判): 任务域宽,但 reward 信号不可靠。模型很容易学会"糊弄判官",reward 一旦被 hacking,训练就崩了。

这两个问题在工业界各占一半的失败案例。Skill Self-Play (下文简称 Skill-SP) 的切入点是:技能 (skill)这个东西天然是中间地带 —— 一个 skill 是一段可复用的"结构化执行能力",对单个任务来说执行深度足够、可验证性高,换一个任务又可以通过动态路由拓展覆盖域。

我读完 paper 之后最大的感受是:它不是在哲学层面论证 “skill 是中间地带” —— 它直接把 skill 当成可执行对象,做成一个能被 RL 框架 update、route、retire 的动态库。这个"把抽象概念落地成可操作的工程对象"的思路,比论文标题想表达的"能力前沿"要实在得多。