1、简介
机器学习（ML）已迅速成为支撑无数应用的基础技术，从自然语言处理和计算机视觉到欺诈检测和个性化推荐.近年来，人们对如何在安全环境中使用ML的理解越来越多，从而开发了用于检测和预防恶意活动的高级工具和技术。有兴趣了解AI安全知识的读者可以参考相应的CyBOK主题指南。然而，机器学习本身的安全和隐私方面仍然知之甚少，这给研究人员和从业者带来了新的挑战和机遇。
本网络安全知识体系（CyBoK）知识指南（KG） 旨在描述破坏 ML 模型 的安全性和隐私的攻击和防御，这些模型定义了对抗性机器学习领域。我们关注的是在这个快速发展的领域中，在保护和保护机器学习模型隐私的背景下出现的关键挑战、开放问题和有前途的解决方案。传统上，机器学习研究的主要重点是提高性能，通常根据准确性、精确度、召回率和其他与性能相关的传统指标来衡量。然而，随着机器学习系统越来越多地部署在具有重大安全和隐私影响的现实世界环境中，越来越需要考虑其他目标。这些目标可能包括对抗性攻击和分布变化的鲁棒性，决策过程的公平性，以及确保模型的可解释性和可解释性。平衡这些经常相互竞争的目标，是开发可信赖的机器学习系统的核心挑战。
此外，随着机器学习模型在大量数据上进行训练，其中可能包括敏感或机密信息，隐私问题变得越来越重要。为了透明度和协作而发布或提供对数据和模型的访问的需要与保护数据机密性以及个人和组织隐私的要求之间存在着内在的紧张关系。从ML模型推断敏感信息的技术越来越复杂，即使模型本身被认为是“黑匣子”，这种紧张关系也进一步加剧。可信机器学习领域的研究正在迅速发展，新技术和方法被提出并定期进行评估。因此，本CyBoK KG并非旨在提供对该领域的详尽调查，而是提供当前 趋势、开放问题和有前途的解决方案的概述，这些解决方案正在塑造对抗性机器学习的格局，特别关注人工智能系统的安全性和隐私性。通过探索这些主题，我们为计算机科学家、从业人员和研究人员提供了宝贵的资源，以更好地理解和解决与机器学习系统相关的安全和隐私挑战。在KG的其余部分，我们将深入研究对抗性机器学习的各个方面，涵盖规避攻击、中毒和后门攻击、可实现和问题空间攻击、推理攻击以及对抗性攻击和隐私保护技术等主题。我们希望这个KG的未来扩展将更详细地涵盖可信机器学习的更广泛背景，包括与公平性、可解释性和可解释性相关的问题，以及相关的供应链安全、新兴趋势和这个令人兴奋和快速发展的领域的研究方向。
免责声明：文章内容不代表本站立场，本站不对其内容的真实性、完整性、准确性给予任何担保、暗示和承诺，仅供读者参考，文章版权归原作者所有。如本文内容影响到您的合法权益（内容、图片等），请及时联系本站，我们会及时删除处理。
查看原文