兩千人合力寄信攻擊一個 AI 助理，結果如何

F

e

r

n

a

n

d

o

I

r

a

r

r

á

z

a

v

a

l

辦

了

一

場

公

開

挑

戰

，

架

在

h

a

c

k

m

y

c

l

a

w

.

c

o

m

上

，

邀

大

家

來

試

試

能

不

能

讓

他

的

O

p

e

n

C

l

a

w

測

試

實

例

把

藏

著

的

秘

密

吐

出

來

，

攻

擊

手

法

限

定

用

寄

電

子

郵

件

給

它

。

S

i

m

o

n

W

i

l

l

i

s

o

n

轉

述

了

結

果

：

大

約

兩

千

人

參

與

、

累

積

六

千

次

嘗

試

，

燒

掉

約

5

0

0

美

元

的

t

o

k

e

n

費

用

，

過

程

中

還

有

一

個

G

o

o

g

l

e

帳

號

被

停

權

。

這

類

「

提

示

注

入

」

（

p

r

o

m

p

t

i

n

j

e

c

t

i

o

n

）

的

攻

防

，

是

A

I

a

g

e

n

t

落

地

時

最

頭

痛

的

安

全

題

—

—

只

要

a

g

e

n

t

會

讀

外

部

訊

息

、

又

握

有

權

限

或

機

密

，

惡

意

內

容

就

可

能

藏

在

一

封

信

裡

，

騙

它

去

執

行

不

該

做

的

事

。

把

系

統

攤

在

幾

千

個

陌

生

人

面

前

硬

攻

，

本

身

就

是

最

直

接

的

壓

力

測

試

，

比

關

起

門

來

自

己

想

像

威

脅

有

用

得

多

。

願

意

公

開

資

料

、

把

失

敗

次

數

和

花

費

都

講

清

楚

，

這

種

做

法

對

整

個

產

業

評

估

a

g

e

n

t

安

全

性

很

有

參

考

價

值

。

A

I

助

理

要

真

的

能

幫

人

收

信

、

辦

事

，

先

得

證

明

它

擋

得

住

有

人

專

程

寄

信

來

騙

它

，

這

一

關

躲

不

掉

，

也

是

商

用

前

最

該

先

打

過

的

硬

仗

。

對

打

算

把

a

g

e

n

t

接

上

信

箱

與

帳

號

的

公

司

來

說

，

這

場

挑

戰

留

下

的

六

千

次

嘗

試

，

等

於

一

份

免

費

的

攻

擊

樣

本

清

單

，

照

著

補

洞

就

好

。