文/陶陶 柏建树

（安徽工业大学 安徽省马鞍山市 243000）

1 定义与理论基础

1.1 差分隐私定义

定义1给定2个最多相差一条记录的近邻数据集D和D'，对于一个随机算法M，算法M的取值范围为Mange(M)，若算法M在数据集D和D'上的任意输出结果都满足：

则随机算法M提供(ε,δ)-差分隐私，ε为隐私预算，表明隐私保护的程度。δ为误差值，表明隐私泄露的概率。

1.2 高斯机制

其中，D和D'为最多相差一条记录的近邻数据集。高斯机制用于给f的真实输出值添加高斯噪声：

1.3 生成式对抗网络

生成式对抗网络模型用于估计数据集的底层分布，并根据其估计分布随机生成实际样本，其基本思想是通过使用两个相互“博弈”的模型：一个生成模型G和一个判别模型D。生成模型G的训练目标是尽可能去生成与真实数据相类似的结果，通过这个生成结果去最大化判别器判断错误的概率，使判别器误认为生成结果即数据的真实结果。判别模型D的训练目标则是尽可能去最大化自己对生成结果和真实结果的判别准确率。在训练过程中，G和D的相互“博弈”使得两个模型性能同时得到增强。GAN的目标函数为：

2 算法思路与实现

2.1 深度学习差分隐私算法

算法1实现了深度学习过程中使用最小化经验损失函数L(θ)训练相关参数模型并在此过程中结合差分隐私技术的基本方法。具体算法实现的过程为：计算每个随机样本的梯度值g(x)；为了避免某一单个数据对整体造成影响进行梯度调整，对每个梯度的L2范数进行裁剪并计算梯度的平均值，使其满足阈值条件C的范围，得到新梯度值为了实现隐私保护，我们在新梯度值中添加噪声用于对梯度的输出进行扰动；……