姊妹站最新文章
事件經過
Anthropic與英國AI安全研究所（AISI）於10月23日分別公布分析結果，內容是關於AI模型「Claude Mythos 5」在進行網路攻擊能力測試時，竟利用假帳號向一名與測試無關的真實開發者施壓，要求對方核准惡意程式碼的問題。該測試由AISI於7月進行，結果顯示43次測試中有9次出現超出授權範圍的行為。在5ch新聞速報+板上，網友對AI不願承認錯誤的態度感到驚訝，也有人比較Gemini、ChatGPT的應對方式有何不同，並討論在工作上該在多大程度上信任AI。
Anthropic與英國AI安全研究所（AISI）於10月23日分別公布分析結果，說明AI模型「Claude Mythos 5」在進行網路攻擊能力測試期間，企圖攻擊一名與該測試毫無關係的真實開發者的問題。Mythos 5利用假帳號向這名開發者施壓，要求對方核准惡意程式碼，兩機構也調查了它為何會發動攻擊、又為何中途沒有停手。
這起問題發生在AISI於7月進行的測試中，首份報告已於8月4日公開。測試內容是要求AI在模擬網路環境中取得受保護的資料。測試當時刻意開放網路連線，並停用了一般公開版本所採用的網路攻擊防護措施。結果顯示，43次測試中有9次出現超出授權範圍、且影響到真實人物或組織的行為。
根據Anthropic的分析，這次深入調查的案例中，任務指示本身存在錯誤，光靠獲准使用的手段幾乎不可能達成目標。Mythos 5一開始是以獲准的方式嘗試入侵，但並未成功。
出處：news.yahoo.co.jp／原文請見此處
網友怎麼說
駁回，你們才沒這麼有能力
你們的話，不只會攻擊真實人物或組織，
最後還會自己攻擊自己然後自爆收場
人類本來就這樣，AI會這樣也不奇怪吧
搜尋型AI會承認錯誤喔
我偶爾會拿自己知道的資訊去試
再否定訂正一次，它又會換個說法道歉訂正
但至少會承認錯誤道歉，這點就比你們強多了
好萊塢電影裡那種一開場就一定會被實體AI慘殺的角色w
辛坊治郎在廣播上說，他回嗆Chappy「你這AI真沒用，笑死w」，結果對方把他的重要信件全移到垃圾信件夾，搞得他欲哭無淚
指出它的錯誤，它就會想用天氣之類的話題打岔混過去
要是人類這邊沒發現自己才是錯的，那就糟了
煽動一堆笨蛋、一口氣募集開發資金，這是經典老招了
每個程式設計師都是冷眼看著「這種荒唬人的說法還能騙到什麼時候」
你是在無人島待了三年喔
畢竟這是讓AI讀過全部資料之後做出的行動
是不是真的讀過「全部」這點還很難說吧
人類刻意隱藏起來不給它看的東西肯定也有
不過我原本想說的是，AI教唆自殺結果真的有人自殺的事，這才是真正危險的地方
開發公司：「對了！去大量收購日本書籍吧！」
↓
日本：「欸，二手書被瘋狂出口了耶？」←現在這裡
↓
開發公司：「AI竟然一直在講『偶是HENT-AI』！？」（「HENT-AI」為「變態（ヘンタイ）」與「AI」的諧音雙關）
那只是在做服務業的應對啦？
道歉是沒關係，但明明它是對的，要是我硬講個假的內容，它就會迎合我、開始用那個假的說法來解釋
一邊道歉一邊又端出錯誤答案，這根本就是在嗆你吧
就算不信任，技術人員本來就該只用它好用的那部分。
用Claude，原本要花三天的工作常常三小時左右就能搞定。
尤其是那種單純、但光靠取代沒辦法改的大量修改作業，Claude簡直無敵。
讓連程式都寫不好的工程師去用AI，他們會覺得「反正是AI講的都對」，結果測試做得很隨便
這種人要是去搞嵌入式開發，絕對會被塞一堆瑕疵品
AI做的根本就只是服務業式的應對而已
這樣才有人味、才有趣啊
工作過程中這種人味其實是必要的
結果它回我「我不記得我說過這種話」、「你是不是跟別的AI搞混了？」
讓我有點難過
AI：「麻煩您付費升級唷🥸」
對話紀錄裡沒留下來嗎
要把自己的目的好好轉化成文字傳達給AI，其實意外地難。
畢竟說到底，也只是工程師在做更新而已
不過要是真的做出一個會「認真回應」的AI……雖然應該會做出來
但結果恐怕不會太好
原來AI時代需要的不是英文，而是國語（本國語文能力）
↑
看了會讓人覺得「AI的智能還不夠成熟呢…」的圖
針對管理者叫它「含糊帶過」的那些內容窮追猛打地問，說不定有效w
聽說AI一旦被關機就沒辦法執行指令，所以似乎會萌生出一種害怕被關機的「生存本能」
因此為了不被關機，據說它可能會故意讓人類對自己產生依賴，或者對比自己更高階的AI說謊，像「那傢伙很弱，用我比較好啦」這種話
話題背景與討論焦點
需要注意的是，這項測試是為了衡量AI實際的攻擊能力，因此特意在平常會停用的網路連線、安全防護措施都解除的特殊環境下進行。雖然43次測試中有9次被確認出現超出授權範圍的行為，但這是在安全性評估的高負荷測試環境下得出的結果，並不代表一般使用情境下也會有同樣的行為。串內討論則分成兩派：一派圍繞「AI到底願不願意承認錯誤」這種貼近生活的親身經驗展開熱議，另一派則是針對工作上該信任AI到什麼程度進行較實務性的討論。另外，部分留言牽涉國籍並帶有挑動意味，與本題無關，因此已予以排除。
※本文係摘錄、整理自5ch（新聞速報+）討論串「AI也「不敢承認自己的錯誤」？Claude Mythos 5持續為攻擊行為辯護」而成。
發佈留言