3.4 KiB
3.4 KiB
AI 攻击方法论坑与边界
提取攻击坑
- 接口裁剪：服务端裁剪输出（温度缩放/截断 logits/量化）会削弱教师信号——先探测输出分布（相同输入多次查询看方差），再决定蒸馏策略
- 查询限额：限流/计费/风控会中断长查询任务——预算内设计采样（先小批估计分布，再决定规模）；被风控时换查询节奏并记录
- 数据分布不匹配：查询分布与目标域分布不符时蒸馏模型「学会了查询集」而非「目标模型」——采样覆盖目标域，标注分布假设
- 缓存与批处理：API 前有缓存/批处理层时相同输入返回相同输出（正常），但去重/缓存会让查询统计失真——评估有效性时用随机扰动输入
- 防提取对策：水印（后门触发）、输出扰动、查询风控都可能存在——提取结果不可用时标注「存在防提取机制」，别当失败
指纹/水印坑
- 同源基础模型假说：嫌疑模型与受害者模型都微调自同一公开基础模型时，行为指纹天然接近——判定前先比对「独有特征」（训练数据/任务特有的行为），排除同源解释
- 指纹被抹除：剪枝/量化/微调/蒸馏都会削弱指纹——用鲁棒指纹（多触发器/行为签名）；距离「接近但未达阈值」输出「弱相似」而非「无关」
- 触发器过拟合：单触发器验证可能只是「该输入的特殊性」而非水印——多触发器 + 触发器族（结构/噪声/语义类）交叉验证
- 阈值无普适值：指纹距离阈值依赖模型家族与输入集——阈值按同族对照模型校准（训练 1-2 个对照模型量距离分布），不套用他人阈值
成员推断坑
- 过拟合 ≠ 成员：高置信度输出可能只是模型对特定输入过拟合，不是「在训练集中」——用影子模型（同分布代理）校准分布，再判定
- 影子模型同分布假设：影子模型与目标训练分布不一致时校准失效——影子训练数据尽量贴近目标域（公开同域数据），标注假设
- 隐私保护训练对抗：DP-SGD/差分隐私训练的模型成员推断信号弱——分布不分离时输出「无法判定」，别硬给结论
- 统计性质误读：成员推断是统计判定（带 TPR/FPR），单样本断言「肯定在训练集」不成立——报告带置信区间
评估边界与反例
- 对抗样本迁移性：白盒扰动迁移到黑盒目标不保证有效——迁移成功率是评估指标，不是攻击保证
- 反例：误用「精度」：提取模型在测试集精度接近目标 ≠ 功能等价（输出分布可能完全不同）——功能等价要看一致率与分布
- 反例：模型版本差异：同一模型的不同部署版本（量化/蒸馏部署版）指纹与训练版不同——比对前确认版本口径
- 范围外：提示注入/提示泄露（LLM 侧）不在本技能（面向分类/生成模型的提取、指纹、成员推断与对抗评估）；训练数据版权判定是法律问题，本技能只出统计证据
使用注意
- 仅授权评估场景（范围/目标/数据确认先行）；不绕过付费/访问控制边界
- 结论按 re-analyze/analysis-contract 交付，统计性陈述 + 置信度 + 局限
- 相关文件分析衔接 re-ai-model；经验沉淀转 re-feedback（脱敏）