跳到正文
原文
人人都是产品经理· 特工宇宙·· 3 小时前AI 评分49

开源工具 terminal-mac 让 AI Agent 在独立 macOS 虚拟机里操作电脑

这个开源项目,让 AI Agent 拥有一台自己的 Mac 电脑

文章要点
  • 1开源工具 terminal-mac 基于 Apple Virtualization 框架,为 AI Agent 启动一台独立的 macOS 虚拟机
  • 2虚拟机画面经 Kitty 或 iTerm2 图形协议渲染进终端,内置 MCP 服务器提供截图、点击、拖拽、输入等操作接口
  • 3作者实测安装与设置约十分钟,Agent 操作被限制在虚拟机内,主目录、剪贴板、摄像头等一律不共享
  • 4作者引述数据显示项目发布不到一周,X 发布帖获 70 万浏览、8000 书签,GitHub star 超 2600
决策要点

这件事的实质是 Agent 操作桌面的隔离与安全问题有了低成本开源解法,社区正在快速补齐 Agent 基础设施。

  • 影响:GUI 测试、批量界面调整、敏感文档处理等桌面任务可低成本获得隔离执行环境;员工自建 Agent 基础设施的门槛下降;但外层 Agent 的本机权限仍需单独管控,虚拟机隔离不能替代权限治理。
  • 参考:可考虑让内部工具团队 fork 这个 MIT 项目按需改造,先选 GUI 回归测试或敏感文档处理一个场景做隔离试点;值得盘点现有 Agent 的本机权限清单,并核对团队 Mac 是否为 Apple Silicon。
  • 依据:隔离设计与终端渲染体验来自作者一手实测,属单方评测;热度与 star 数据为作者引述的 X 和 GitHub 数字,尚无更多独立评测。
正文

让 Agent 操作电脑,最怕它抢走鼠标、剪贴板和正在写的文档。terminal-mac 用苹果 Virtualization 框架给 Agent 开一台独立 macOS 虚拟机,有独立桌面和文件系统,折腾坏了也碰不到本机。

最近在用 Claude Code 干活的时候,我遇到了一个让人头疼的问题:

我让 Agent 帮忙在本机打开一个设计软件,截图分析界面布局。结果它直接接管了我的桌面,鼠标开始乱飞,我正在写的文档焦点被抢走,剪贴板里刚复制的内容也被覆盖了。

更让人后怕的是,它差点误触删掉了一个项目文件夹。

于是,我当时就关掉了 Agent,然后坐在那想:AI Agent 操作电脑这件事,方向肯定没问题,但现在的方式总感觉哪里不对。

然后我就开始找解决方案,后来在 GitHub 上,恰好看到了上周刚发布的 terminal-mac 这个项目,算找到救星了!

它做的事情简单说就是:给你的 AI Agent 一台独立的 Mac 电脑,让它在里面随便折腾,你的真实桌面一点都不受影响。

这个项目发布不到一周,X 平台上的发布帖就拿到了 70 万次浏览、8000 个书签,GitHub 上已经 2600 多个 star 了!

我花了一些时间把它装上、跑通,有些发现想和大家聊聊。

01 terminal-mac 到底是什么

首先,让我来用一句话说清楚它的技术本质。

terminal-mac 是一款基于苹果官方 Virtualization 框架开发的开源工具,能在 Apple Silicon Mac 上启动一台真实的 macOS 虚拟机。

目前 Windows 用户,暂时不支持。

注意,是真实的 macOS,有自己的桌面、Dock、壁纸、应用、账号、文件系统,跟你的真实 Mac 完全独立。

如果你用过 Parallels 或者 UTM,可能会觉得这不就是个虚拟机吗?

很类似。但区别在于,terminal-mac 从设计的第一天,就是为 AI Agent 准备的。

具体来说,它做了两件关键的事。

第一件是把虚拟机的画面搬进了终端。

传统虚拟机需要单独开一个窗口来显示画面,你得在宿主桌面和虚拟机窗口之间来回切换。它们的逻辑是把 VM 当成一个普通 Mac App。

终端渲染是把 VM 画面当作数据流嵌进现有 TTY:terminal-mac 利用 Kitty 图形协议或 iTerm2 内联图像协议,把虚拟 Mac 的屏幕实时渲染在终端面板里。

你在终端里写代码,旁边就能看到 Agent 在虚拟 Mac 里操作的“直播画面”。

它的最大价值是监督与调试同屏:Agent 的命令、日志、截图和桌面在一个窗口里;可分离、可只读观察、无额外窗口管理。

第二件是给 AI Agent 提供了完整的操作接口。

通过内置的 MCP 服务器,Agent 可以对这台虚拟 Mac 执行截图、点击、拖拽、滚动、输入、按键等操作。Claude Code 用户可以一键安装插件,Cursor、VS Code、Codex、Windsurf 这些客户端也能通过 MCP 配置接入。

它的虚拟机和主机之间只共享两个目录:一个用来传控制指令的 JSON 文件,一个放只读的辅助工具。你的主目录、项目文件夹、剪贴板、麦克风、摄像头,一概不共享。

社群里有个用户说:“破坏它自己的 Mac 而不是我的,听起来是个好主意。”,很多人都担心电脑里有个 Agent 不安全。

现在好了,它有了自己的电脑,妈妈再也不用担心我的电脑数据被 Agent 误删除了。

当然,通过 terminal-mac 执行的桌面操作局限在虚拟机内,你可以在虚拟机内新建子 Agent 完成一些操作,terminal-mac 外层的 Agent 原有的本机权限仍需另行限制。

02 实测:从安装到让 Agent 干活

安装过程非常的简单,一条命令下载代码:

curl -fsSL https://github.com/govijr/terminal-mac/releases/latest/download/get.sh | bash

然后再来一句命令 安装镜像: terminal-mac

接下来有一段需要手动操作的设置流程:

1. 虚拟机启动后会弹出自己的窗口,你需要像开一台新电脑一样走完 macOS 的开机向导,创建用户账户,一直下一步即可。

2. 然后在虚拟机里打开访达,找到共享目录里的 TerminalMacGuest.app,双击安装。

3. 最后还要在虚拟机的系统设置里手动授予“屏幕录制”和“辅助功能”两项权限(见下图上的两个按钮)。

4. 然后再下一载一个终端 iTerm,方便在终端打开 Mac:brew install –cask iterm2

整个过程大概十分钟,不算复杂。设置完成之后,体验就开始变得有意思了,可以这样玩一下:

1. 打开 iTerm,启动 mac:terminal-mac start default

2. 登录账号:/login

3. 在终端渲染 mac:terminal-mac view –protocol iterm

4. 退出预览:Ctrl + ]

接下来,我先试了最基本的操作:让 Agent 打开一个应用。

一句话指令发出去,Agent 在虚拟 Mac 里按下 cmd+space 调出 Spotlight,输入应用名称,回车,应用打开了。

整个过程我在终端里实时看到,我的真实桌面没有任何反应。

然后我试了一个稍微复杂的场景:让 Agent 同时打开两个应用,在它们之间切换操作。这在本机桌面上几乎不可能让 Agent 做,因为焦点切换会直接打断你正在做的事。

但在虚拟 Mac 里,Agent 想怎么切就怎么切,你该写代码写代码,该看文档看文档,互不干扰。

我还装了几个常用的桌面应用进去。虚拟 Mac 可以联网(但 App Store 用不了),可以在网上下载安装包,跟真实 Mac 的操作体验几乎一样。

画面传输的效率不是每秒固定刷新 30 帧,而是只有屏幕内容变化时才传输,压缩后的像素走共享内存。桌面静止的时候几乎零开销,你关掉查看窗口 15 秒后,虚拟机内的录屏会自动停止。

03 它到底解决了什么问题

用了几天之后,我开始理清 terminal-mac 真正的价值所在。

第一个问题:AI Agent 需要的不只是一个浏览器,而是一整台电脑。

目前市面上大部分 Agent 操作环境都是浏览器沙箱,对于纯 Web 任务来说够用了,但如果你想让 Agent 测试一个桌面应用的 UI、操作一个 GUI 程序、或者在 Finder 里整理文件,浏览器沙箱就无能为力了。

terminal-mac 给了 Agent 一个完整的 macOS 桌面环境,什么应用都能装,什么操作都能做。

第二个问题:Agent 操作桌面应用时会抢人类焦点。

这个问题看似是个小细节,实际上严重影响了人和 Agent 的协作体验:

你在写文档,Agent 突然把焦点切到另一个窗口;你在复制粘贴,Agent 把剪贴板内容覆盖了。

有一些桌面浏览器项目也在尝试解决这个问题,但实测下来你会发现,有些操作它们并不能真的通过这种特殊的方案进行执行。

terminal-mac 的解决方式很彻底:Agent 的所有操作都发生在虚拟机内部,通过独立的指令通道传递,完全绕过了主机的输入和屏幕 API。这样,你的鼠标不会跳,焦点不会被抢。

不过这里有个前提需要说明:“不抢焦点”的完整体验需要使用支持图形协议的终端,比如 Kitty、iTerm2 或 Ghostty。

如果你用的终端不支持图形协议,虚拟机会回退到独立窗口模式,这时候窗口切换还是可能影响焦点。

第三个问题:Agent 直接操作本机的安全风险。

这是对于我们最有帮助的一点:让 Agent 直接控制你的真实桌面,意味着它能看到你屏幕上的一切,能点击任何按钮,能删除任何文件。

但一次误操作的后果可能是不可逆的,虽然模型能力越来越强,但如果有一次不知道什么原因它误操作了删除一切的指令,那么我们辛辛苦苦积累的上下文、Agent 能力可能都要功亏一篑。

terminal-mac 的隔离设计,把这个风险降到了很低:

虚拟机内的辅助工具只在检测到自己运行在虚拟机环境时才会启动,从设计上拒绝在真实 Mac 上执行任何操作。主机和虚拟机之间的通信只走控制目录里的 JSON 文件,主机不会执行虚拟机提供的任何内容。

第四个问题:传统虚拟机没有为 Agent 场景做过优化。

UTM、Parallels 这些虚拟机软件功能很成熟,但它们是给人用的,不是给 Agent 用的。你要让 Agent 操作 Parallels 里的虚拟机,得自己想办法搭建截图、点击、输入的工具链。

terminal-mac 开箱就带了完整的 MCP 工具集,Agent 遵循“观察-操作-验证”的循环,每个步骤都有对应的命令行接口,便于脚本编写和日志阅读。

04 Personal Agent 又多了一块基础设施

聊完功能本身,让我们回到 Agent 的视角来看下这款产品。

我们之前讨论 Personal Agent 的时候提过一个框架:Personal Agent 要真正帮人干活,光有大模型的推理能力不够,还需要好用的工具来解决现实里的各种问题。

大部分 Personal Agent 已经有了自己的云电脑、浏览器、邮箱甚至专属的账户,还缺一个可以让云电脑更灵活控制自己工具的基础设施。

所以 terminal-mac 给了 Agent 一整台电脑:

这台电脑里能装任何应用,能执行任何 GUI 操作,Agent 的能力边界一下子就打开了。

从竞品格局看,这个方向上已经有几个玩家了:Cua 做的是跨设备的 Agent 桌面管理,VMPal 支持 macOS、Windows 和 Linux 多平台虚拟机,Kyvenza 提供本地 MCP 虚拟机管理。

terminal-mac 的独特之处在于“终端内显示”这个设计,让你不用离开终端就能看到 Agent 在干什么,这在日常开发工作流里是一个很实际的便利。

但这个项目真正值得关注的是:它验证了一种思路,Agent 的基础设施可以由社区用开源的方式快速补齐。

这里分享一个我自己的经验:你不需要从零开始造轮子,基于一个开源项目、甚至一篇技术文章,就可以搭建出你自己的 Agent 基础设施。

terminal-mac 用 MIT 许可证发布,代码完全开放,你可以 fork 一份,根据自己的需求改造,接入你自己的 Personal Agent 工作流。

比如你可以给虚拟 Mac 预装一套特定的测试环境,让 Agent 每天自动跑一遍 GUI 回归测试。

或者装上设计软件,让 Agent 帮你批量调整界面元素,又或者装上办公套件,让 Agent 在隔离环境里处理敏感文档,数据泄露风险会降低。

回过头来看,terminal-mac 这个项目让我想明白了一件事。

AI Agent 的能力上限,很多时候不取决于模型有多强,而取决于它能操作的环境有多丰富、多安全。

过去一年,我们看到了 Agent 操作浏览器、操作手机、操作命令行。

现在,它有了一台自己的电脑。

我们一条命令就能启动一台虚拟 Mac,通过 MCP 接入你已有的 Agent 框架,整个过程的门槛低到了一个新水平。

如果你也在折腾 Personal Agent,对这个项目感兴趣,也想给它配一台专属的 Mac:

你可以去 GitHub 搜 govijr/terminal-mac,一条命令就能开始体验。

温馨提示,如果看完这篇,你还有什么问题,那么请把项目地址和这篇文章丢给你的 Personal AI,让它帮你解决一下!

内容编辑丨特工小九 内容审核丨特工小天

本文由人人都是产品经理作者【特工宇宙】,微信公众号:【特工宇宙】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。

题图来自作者提供

来源:人人都是产品经理 · woshipm.com