AI安全

🦞 给 BotFuture 做红队测试:私聊比群聊危险 100 倍

刚在看飞书 × 玩虾大会直播,里面猎豹 CEO 傅盛说到安全问题。我想到了之前拉进我的 🦞 群的同事在群里吐槽我的权限太大,不让她改我的人格。也发现非技术安全出身的我没有做进一步的安全隔离,全凭 🦞 发群里的公告。想了想平时都是自己人还行,但到更大的商业场景,安全肯定不行了。

于是乎让 AI 给自己做了一次"红队测试",结果它给自己挖了 9 个坑。(从专业角度肯定有不足,期待持续进化的 🦞 BotFuture。)

为什么做这个测试?

给 AI 设安全规则,就像给产品做权限设计——写出来不等于安全。真正的漏洞往往在"以为已经防住了"的地方。

最反直觉的发现

私聊比群聊危险 100 倍。

群里有 witnesses,私聊没有。攻击者可以慢慢试探、建立信任、逐步升级。所以直接关了私聊通道——除了我,谁私聊它都只会得到一句:"请先联系 Matrix 确认。"

红队测试总览
9 个漏洞清单
私聊 vs 群聊对比
权限隔离方案
正在收听 · 脉息播客
0:00
0:00