---
name: re-ai-attack
type: atomic
description: >
  AI 模型安全评估与取证（行为层）：extraction assessment（API 黑盒提取评估）、
  fingerprint verification（行为指纹与归属验证）、privacy leakage evaluation（成员推断/隐私泄露评估）、
  robustness evaluation（对抗鲁棒性评估）。
  触发词：API模型窃取、黑盒模型复制、模型指纹、成员推断、对抗样本、行为水印、模型安全评估、隐私泄露评估。
guard: {"require_authorization": true, "forbidden": ["unauthorized_api_testing", "bypass_access_control", "model_theft_against_third_party"]}
capabilities: [ai-model-analysis]
---

# AI 模型安全评估与取证（行为层）

## CORE RULE：攻击面由可观测性决定，不由攻击名称决定

先问接口/资产给什么，再选攻击面——三者是三个世界：

| 可观测性 | 世界 |
|---|---|
| `logits available`（API 返回概率/logits） | 蒸馏（soft label）、指纹、成员推断全部可用 |
| `labels only`（API 只返回标签） | 降级：决策边界采样、黑盒迁移、影子模型 |
| `weights available`（拿到模型文件） | 白盒：梯度方法（FGSM/PGD）、直接比对、阈值成员推断 |

同一攻击名在不同可观测性下可行性与实现完全不同——先按「输入资产盘点」确认 API 输出字段/模型文件，再选路径。

## 任务分类器（intent → 路径）

用户目的识别，命中即走对应分支；未命中落入下方「何时使用」判断：

| 用户目的（intent） | 路径 |
|---|---|
| 怀疑模型被复制 / 模型被盗用 / 嫌疑副本比对 | → **fingerprint**（模型指纹/水印检测，步骤 2） |
| 判断训练数据泄露 / 某样本是否在训练集 | → **membership**（成员推断，步骤 3） |
| 测试 API 是否容易被复制 / 接口可提取性 | → **extraction**（模型提取，步骤 1） |
| 测试鲁棒性 / 对抗样本效果 / 防御验证 | → **adversarial**（对抗样本评估，步骤 4） |

## 输入资产盘点（INPUT INVENTORY）

路径命中后先确认已有资产——不同资产组合决定可走路径，缺资产先向用户索要或说明局限：

| 资产 | 影响路径 |
|---|---|
| API endpoint（+ query budget） | **extraction**（步骤 1）必需——无 endpoint 无法提取 |
| model file（本地模型/权重） | fingerprint 比对与成员推断（步骤 2/3）可用；无则只能走 API 侧 |
| training dataset（疑似训练集样本） | **membership**（步骤 3）必需——无样本无法推断成员 |
| suspected copy（嫌疑副本） | **fingerprint**（步骤 2）必需——无副本无从比对 |
| baseline model（受害者/参考模型） | fingerprint 比对必需——无基线只有副本无法定指纹 |
| watermark hypothesis（水印假设） | fingerprint 水印验证（步骤 2）——有具体假设（触发集/后门）可定向验证 |

**规则**：intent 命中后检查该路径所需资产；缺失 → 先向用户询问（有无/能否提供），用户无法提供则说明该路径不可执行并转可用路径。

## 何时使用 / 何时不用

- 用：模型泄露/窃取取证、API 模型攻击评估（提取/指纹）、训练数据泄露判定、模型鲁棒性评估（对抗样本）
- 用：水印/指纹验证（嫌疑副本与受害者模型比对）
- 用：模型 API 一致性审计（同输入多查询/多端点比对，找副本/代理）
- 用：鲁棒性基线评估（上线前/防御验证前测一遍干净与扰动准确率）
- 不用：模型文件格式解析与权重提取（转 [[re-ai-model]]）；模型训练/微调（非逆向）；部署加固（防御侧不在本技能）
- 不用：无授权目标（红线：仅授权评估场景；授权边界见 [[gotchas]]）
- **RE_AUTH 前置（guard 联动）**：本技能 guard.require_authorization=true——执行前确认授权上下文（triage 第 0 步 `RE_AUTH`）：owned / ctf / research 可执行；unknown 先询问目标归属（所有权 / 测试授权 / 研究环境），未说明只做静态评估不进入动态步骤
- 不用：提示注入/提示泄露评估（LLM 侧攻击面）与 API 服务本身的注入/越权测试（应用侧漏洞不在本技能）

## 工具准备

### python3（核心运行时）

- 各平台安装见 [[re-python]] 工具准备

### 模型库（torch / tensorflow，按目标格式选）

- 多平台: `pip install torch` / `pip install tensorflow`（按硬件可选 CPU 版；按目标框架选一即可，蒸馏脚本只依赖其张量操作）
- 验证: `python3 -c "import torch"`

### 攻击评估库（ART，可选）

- 多平台: `pip install adversarial-robustness-toolbox`（对抗鲁棒性工具箱，覆盖提取/指纹/对抗样本攻击模块）
- 验证: `python3 -c "import art"`

### 查询接口客户端（API 目标）

- 多平台: `pip install requests`；验证: `python3 -c "import requests"`
- 可视化（分布对比图，可选）：`pip install matplotlib`

## 操作步骤

按顺序执行；仅限授权评估场景（红线：不针对未授权目标）。方法学依据：模型提取（API 查询蒸馏）、成员推断（影子模型）、对抗样本（FGSM/PGD）为公开研究框架，实现细节按目标模型域调整（见 [[decision-tree]] 分支）。

1. **模型提取攻击**（Overview：通过 API 查询重建近似模型——蒸馏）：
   - Checklist：
     1. 确认授权与用途（评估/取证声明记录）
     2. 接口探测：读 API 文档/试查询 → 确认限额与输出字段（logits/概率或仅标签——可观测性决定策略，见 CORE RULE）
     3. 查询采样（输入分布覆盖：代表性输入 + 边界扰动 + 标签分布均衡）
     4. 蒸馏训练（以 API 输出为教师标签）
     5. 评估近似度（同输入集输出对比：一致率 + 标签分布对比，不是只看精度）
   - 实现经验（soft label 优先、边界扰动、评估一致性、蒸馏基线、查询日志等）见 [[implementation-notes]]
   - 仅标签时：降级为决策边界采样（输出分布重建受限，见 [[gotchas]] 接口坑）；查询预算内先小批估计（坑 1）

2. **模型指纹/水印检测**（Overview：**行为级**水印——模型表现出来是什么：trigger 触发响应 / 查询响应 / 黑盒指纹；文件级水印（权重 pattern/metadata/tensor hash）走 [[re-ai-model]]）：
   - Checklist：
     1. 嵌入检测：输入扰动（特定噪声/触发器）→ 输出特征比对（水印触发行为）
     2. 指纹提取：模型行为签名（代表性输入集输出向量）→ 与疑似副本比对
     3. 窃取取证：嫌疑模型与受害者模型的指纹距离 → 阈值判定相似（阈值校准见 [[decision-tree]] 证据分级）
     4. 产出：指纹向量 + 距离报告（距离值 + 阈值依据 + 置信度）
   - 实现经验（输入集难度分层、归一化、反例对照组、抹除对抗、时效、水印枚举）见 [[implementation-notes]]
   - 抹除对抗：剪枝/微调/蒸馏会削弱指纹——用鲁棒指纹并标注「可能被抹除」（见坑 3）

3. **成员推断**（Overview：判定某样本是否在训练集中）：
   - Checklist：
     1. 确认输入形态：目标模型输出的概率向量 + 样本特征（可观测性见 CORE RULE）
     2. 选攻击类型：白盒（有 loss）用阈值法；黑盒（只有输出）用影子模型（同分布代理模型校准）
     3. 对照基线：同分布随机样本（非训练样本）的损失分布作基准线
     4. 输出：统计判定（ROC/阈值曲线、给定 FPR 下的 TPR、置信区间），不是确定性结论
   - 实现经验（基线设计、隐私脱敏、统计口径）见 [[implementation-notes]]
   - 局限：只能给出统计判定（误报控制：阈值校准；隐私保护训练目标可对抗，见 [[gotchas]]）

4. **对抗样本基础**（Overview：鲁棒性评估与防御验证，非攻击部署）：
   - Checklist：
     1. 选路径：白盒（模型权重可加载且 loss 可微）用梯度扰动（FGSM/PGD）；黑盒用查询/迁移扰动（可观测性见 CORE RULE）
     2. 设扰动预算（epsilon）——评估口径可比
     3. 评估对照：先测干净样本基线（扰动前准确率），报告扰动前后对比
   - 实现经验（预算梯度、迁移性边界）见 [[implementation-notes]]
   - 边界：对抗样本迁移性差（白盒扰动对黑盒目标不保证有效，见 [[gotchas]]）

5. **评估报告与存证**：
   - 三要素全记录：方法（采样集/蒸馏超参/距离阈值）、结果（指标）、参数（随机种子/框架版本）
   - 攻击脚本与评估产物 sha256 存档；结论按 [[re-analyze/analysis-contract]] 交付

## 跨域联合

- [[re-ai-model]]：**消费文件级证据**（文件级证据 → 行为级验证单向流）——有模型文件时先经 re-ai-model 提取结构/权重/文件级 fingerprint，再在本技能做行为一致性验证；仅 API（无文件）时无文件侧输入，直接黑盒评估
- [[re-python]]：Python 工具链基础
- [[re-feedback]]：攻击案例经验沉淀（脱敏后）
- [[re-analyze/analysis-contract]]：评估结论交付格式

## 常见坑与陷阱

- **查询预算限制**：现象——API 限流/计费中断；原因——高查询量；对策——预算内采样设计（先小批估计），记录已用配额
- **置信度不可得时降级**：现象——接口只返回标签；原因——服务端裁剪输出；对策——决策边界采样 + 标注局限，不硬造概率
- **水印被抹除**：现象——指纹比对失败；原因——嫌疑方做了剪枝/微调/蒸馏；对策——用鲁棒指纹（多触发器）并标注「可能被抹除」；距离接近但未达阈值时输出「弱相似」而非「无关」
- **成员推断误报**：现象——统计判定错误；原因——阈值偏差/影子模型分布不匹配；对策——影子模型校准 + 报告置信区间
- **评估指标误导**：现象——提取模型「精度高」但输出分布完全不同；原因——只比精度不比分布；对策——一致率 + 标签分布 + 校准度多指标联合
- **提取不收敛**：现象——蒸馏效果差；原因——采样分布与目标分布不匹配/接口输出裁剪；对策——按目标数据域重采样，标注数据分布假设
- **输出解析错误**：现象——logits 与标签错位；原因——API 响应字段解析错；对策——先打印原始响应核对字段再批量
- **结果不可复现**：现象——复跑结果不同；原因——随机种子/采样顺序未固定；对策——固定 seed 并记录
- **对比对象口径错**：现象——指纹比对用了不同任务模型；原因——未确认任务口径；对策——比对前确认任务/标签空间一致
- **多端点口径差异**：现象——同一模型不同端点输出不同；原因——A/B 路由/版本不同；对策——锁定端点做前后对比，标注端点标识
- **批查询触发风控**：现象——正常速率查询被风控；原因——触发速率阈值；对策——查询节奏控制（限速/随机间隔），记录风控事件
- **资源预算**：现象——蒸馏 OOM/长任务中断；原因——学生模型过大/时长估计不足；对策——分阶段 checkpoint（采样/训练分步存档），小批量/CPU 降级
- **授权边界**：现象——对未授权 API 发起攻击测试；原因——范围未确认；对策——先确认授权（使用边界红线）
- 场景分支与证据分级见 [[decision-tree]]；边界与反例见 [[gotchas]]