AI Security

有人叫 ChatGPT 扮演過世的奶奶，它就一邊哀悼、一邊唸出五組 Windows 金鑰。越獄想越的，是模型自己那道獄。

為什麼 System Prompt 寫得再嚴，還是擋不住一句話？對 LLM 來說，指令和資料本來就長得一樣。

AI 安全框架這麼多，到底該選哪一套？先問自己要解決什麼問題，答案就清楚了。

AI 涵蓋資料、模型、應用、系統與供應鏈等多個環節，只要其中任何一個信任邊界被忽視，都可能成為攻擊者入侵的突破口。

打 AI 是要找出整個 AI 系統會在哪裡被誤導、濫用、繞過，最後做出超出設計預期的事。

AI 沒有立場，藍隊拿它整理看不完的 Log，攻擊者拿它寫釣魚信、生成 Deepfake，而它自己也已經開始動手。

LLM 產生的是符合上下文的下一段內容，不是經過查證的答案。

一句 Prompt，可以讓 AI 幫你寫程式、整理文件，甚至操作工具；那如果有人故意寫了一段「壞 Prompt」呢？