生成式人工智能（Generative AI，簡稱GenAI）正以前所未有的速度重塑各行各業，尤其對IT領域帶來深刻變革。它在自動化內容創建、加速軟件開發等方面潛力巨大，同時也引入了新的安全風險和倫理挑戰，成為IT專業人士必須面對的現實。

GenAI帶來了數據隱私洩露（例如訓練數據記憶、提示詞洩露）、算法偏見、錯誤信息傳播（如模型「幻覺」）、深度偽造，以及知識產權糾紛等風險。對IT從業者而言，更需關注由GenAI引發或加劇的網絡安全威脅。以下是IT人必須關注的問題：

．提示詞注入（Prompt Injection）：攻擊者可操縱AI繞過安全限制，洩露敏感信息或執行惡意指令。

．不安全輸出處理（Insecure Output Handling）：AI生成的代碼或腳本，若未經充分驗證，可能導致XSS、RCE等下游系統漏洞。

．供應鏈漏洞（Supply Chain Vulnerabilities）：依賴的第三方模型或庫可能引入風險。

．惡意使用（Malicious Use）：AI被用於增強網絡釣魚、自動化生成惡意軟件等。

OWASP的LLM Top 10列表中，系統性地揭示了這些技術風險，IT安全人員需重點關注。此外，為了應對GenAI的挑戰，建議IT專業人士需具備以下資訊安全的新技能。首先，是安全開發與部署（MLSecOps），將安全融入AI生命周期的每個階段，掌握輸入／輸出驗證、訪問控制、安全基礎設施配置等技能至關重要。其次，是AI對齊與穩健性測試，理解RLHF、RLAIF等對齊技術，掌握紅隊演練（Red Teaming）等測試方法，以發現和修復AI系統的漏洞及偏見。

第三，熟悉隱私增強技術（PETs），包括差分隱私、聯邦學習、同態加密等技術，以在利用數據的同時保護隱私。第四，亦應理解監管與合規，了解包括香港（例如PCPD）、NIST框架及歐盟AI法案指引，確保AI應用合規。此外，也應提升AI素養與倫理意識，包括批判性思維、持續學習、理解AI倫理原則如透明度、公平性、問責制等，將成為未來IT從業員的核心競爭力。

GenAI正推動IT職能演變，雖然可能會衝擊部分崗位，影響IT人的工作、發展與前途，但亦創造了對具備AI安全、治理、倫理和開發技能人才的新需求。IT從業者需積極擁抱變化，通過技能提升和再培訓，在人機協作的新時代中找到自身價值，成為負責任的創新推動者。而理解並駕馭GenAI的安全風險，將是未來IT職業發展的成敗關鍵。

文：陳曉煒博士

香港電腦學會企業架構專家小組執行委員會成員