Journal | [J] Electronics. Volume 12 , Issue 20 . 2023. PP 4364-

Consideration of FedProx in Privacy Protection（Fedprox在隐私保护方面的考虑）

1.摘要

随着联邦学习规模的不断扩大，由设备和数据异质性带来的影响变得愈加严重。作为对比算法，FedProx被广泛用作解决系统异质性和统计异质性的方案。然而，目前尚无研究全面探讨FedProx在隐私保护方面对现有安全联邦算法所能带来的增强效果。本文将差分隐私和个性化差分隐私与FedProx相结合，在不同隐私预算设置下提出了DP-Prox和PDP-Prox算法，并在多个数据集上对这些算法进行了模拟实验。实验结果表明，所提出的算法不仅在不同异质性条件下显著提高了隐私算法的收敛性，还实现了与基线算法相似甚至更好的准确性。

2.介绍

随着各类智能终端上传、存储和使用的应用数据量不断增加，联邦学习（FL）作为实现设备和组织之间数据共享与融合的解决方案，面临着新的挑战，如隐私保护、系统和数据异构性以及分布式设备规模的扩大。

联邦学习以FedAvg为代表，通过允许低用户参与和本地更新优化，能够解决异构性和高通信成本的问题。在每次迭代中，FedAvg选择一些用户设备参与计算，并通过对一定轮数的随机梯度下降（SGD）来更新模型参数，中心服务器则聚合所有用户的本地参数以更新全局参数。由于FedAvg无法根据系统约束执行可变数量的训练轮次，因此在系统异构的情况下，无法在规定时间内完成指定轮次的设备会被丢弃。为了增强联邦学习算法的抗异构性，Li等人提出了FedProx，通过允许训练不足的本地模型的出现和向原始损失函数添加近端项，分别解决了系统异构性和统计异构性问题。

为实现联邦学习的隐私保护，目前可以通过安全多方计算、同态加密和差分隐私（DP）等算法来实现安全联邦学习。与前两种方法相比，差分隐私能够在较低的计算和通信成本下提供严格且稳健的隐私保护，因此在各种建模算法中广泛用于保护隐私。目前针对差分隐私在隐私保护中应用的研究可以根据隐私设置分为两类：统一隐私预算设置和个性化隐私预算设置。关于统一隐私预算场景的研究重点在于通过隐私放大、用户/数据过滤和参数选择等方法减少添加噪声对模型的影响。这类研究未考虑用户个性化的隐私需求，导致一定程度的隐私浪费；而个性化隐私预算场景的研究重点在于通过优化用户选择和隐私预算分配机制，实现隐私保护的个性化。

在将差分隐私应用于联邦学习场景的算法中，DP-SGD是最具代表性的算法，它将差分隐私与SGD紧密结合。通过对剪切梯度值添加噪声，DP-SGD能够有效保护数据信息，因此在大多数工作中被用作模型更新的本地求解器。然而，DP-SGD的提出并未具体考虑异构性。

受到DP-SGD算法的启发，并基于FedProx在解决系统异构性和统计异构性方面的优势，本文将差分隐私和个性化差分隐私与FedProx相结合，分别提出了两种算法：DP-Prox和PDP-Prox，旨在探索在不同隐私预算设置下FedProx的隐私算法的实用性。本研究的主要贡献如下：

-我们在统一隐私预算场景下提出了DP-Prox算法，以提高模型算法在异构条件下的收敛性。
-我们在个性化隐私预算场景下提出了PDP-Prox，通过多轮自适应采样机制改善隐私与实用性之间的平衡。
-我们与基准算法在合成和真实数据集上进行了系列比较实验，证明我们提出的算法不仅对异构环境更具适应性，而且在算法准确性上与常用的SGD算法相比，提升了近6%。

3.准备工作

在本节中，我们介绍了新建模算法的三个关键要素，即DP、PDP和FL框架FedProx。

3.1. 差分隐私与个性化差分隐私

我们首先介绍$ (\epsilon, \delta) $−DP的概念。由于最初提出的$ \epsilon $−DP具有严格的隐私保护，在实际应用中需要较大的隐私预算。隐私预算的大小与算法的实际性呈反比，过度使用隐私计数会显著降低计算结果的准确性。由于该方法仍然可以在一定范围内满足$ DP $，Dwork等人向原始规范中添加了一个松弛元素$ \epsilon $。$ (\epsilon, \delta) $−DP因此是$ \epsilon $−DP的一个松弛版本。

定义1. $ ((\epsilon, \delta) - DP) $ 随机机制 $ M : D \rightarrow R $，其中值域为 $ D $，范围为 $ R $，满足 $ (\epsilon, \delta) - DP $，如果对于任意两个相邻输入 $ d, d’ \in D $ 且 $ | d - d’ | \leq 1 $ 以及对于任意的输出子集 $ O \subseteq R $，都有：

$$
[
\Pr{ \mathcal{M}(d) \in O } \leq e^{\epsilon} \Pr{ \mathcal{M}(d’) \in O } + \delta
]
$$

DP过程可以通过随机响应（RR）、拉普拉斯噪声或高斯噪声来实现。在本研究中选择了高斯噪声，因为它在数据处理中更具有适应性，并且适合于开发$ (\epsilon, \delta) $−DP机制。

在高斯机制的定义中，我们可以将相关内容转换为公式形式，并用Markdown语言呈现如下：

定义2. (高斯机制) 对于函数 $f : D \rightarrow \mathbb{R}$，其敏感度定义为：$\Delta(f) = 2 \max_{d,d’ \in D} | f(d) - f(d’) |_2$,随机机制 $M(d)$ 定义为：$M(d) = f(d) + N(0, \sigma^2)$
该机制满足 $(\varepsilon, \delta)$-差分隐私，如果对于任意 $\delta \in (0, 1)$，给定符合正态分布 $N(0, \sigma^2)$ 的随机噪声，有：

$$
[
\epsilon \geq \frac{\sqrt{2 \ln \left( \frac{1.25}{\delta} \right)}}{\frac{\sigma}{\Delta_2 f}}
]
$$

以下是将文段中与公式相关的内容转换为公式形式，并用Markdown语言呈现的内容：

从定义1可以看出，传统的差分隐私（DP）忽略了用户的各种隐私需求和偏好，将所有用户的隐私标准设定为标准的隐私预算值 $\varepsilon$；同时，为了满足所有用户的隐私需求而设置统一的隐私预算会负面影响建模算法的效用。为了在隐私和效用之间找到平衡，Jorgensen等人提出了个性化差分隐私（PDP）：$(\varepsilon\text{-PDP})$。通过采用各种隐私预算值来提高算法的效用。在此基础上，Heo等人将其扩展为：$(\phi, \Delta)\text{-PDP}$

定义 3.$((\phi, \Delta) - \text{PDP})$ 在隐私预算 $\phi$ 和用户集合 $U$ 的背景下，随机化机制 $M : D \rightarrow \mathbb{R}$ 满足 $(\phi, \Delta)$ − PDP，如果对于任意两个相邻的数据集 $D, D’ \subset D$，$D \rightarrow D’$ 以及对于任意的输出子集 $O \subseteq \mathbb{R}$，都满足：

$$
\Pr[M(D) \in O] \leq e^{\phi} \cdot \Pr[M(D’) \in O] + \Delta
$$

定义3是定义1和 $\phi$−PDP 的泛化。定义转换为 $\phi$−PDP，如果对于所有用户 $u \in U$，$\delta$ 的值为 0。定义转换为 $(\varepsilon, \delta)$−DP，如果对于所有用户 $u \in U$，$\varepsilon = \varepsilon$ 且 $\delta = \delta$。

采样机制：

基于隐私放大采样方法的采样机制最初由Jorgensen等提出，该机制可能有效地限制隐私损失，并且可以应用于任何 $\varepsilon$−DP 算法中。最常用的采样技术包括泊松分布采样、均匀采样和洗牌。Heo等提出了一种满足 $(\varepsilon, \delta)$−DP 的采样技术，通过扩展[8]中描述的机制实现。这还建立了当 $\Delta = {\delta \ | \ \delta = \pi \delta, \ u \in U}$ 时，机制 $M$ 满足 $(\phi, \Delta)$−PDP。

$$
[
\pi_i =
\begin{cases}
\frac{e^{\epsilon_i} - 1}{e^{\tau} - 1} & \text{if } \epsilon_i < \tau \
1 & \text{otherwise}
\end{cases}
]
$$

采样机制M的输出可以定义为s:

$$
[
\mathcal{M}s(D, \phi, \tau) = \text{SMP}{\text{PDP}}(\text{RS}(D, \phi, \tau))
]
$$

当 $\Delta = {\delta \ | \ \delta = \pi \delta, \ u \in U}$ 时，机制 $M$ 满足 $(\phi, \Delta) - \text{PDP}$。

3.2 FedProx

FL（联邦学习）通过协调多个分散的终端设备和中央服务器之间的数据收集、训练和融合，安全地实现了去中心化的数据共享。设 $k$ 表示大小为 $|K|=N$ 的所有终端的集合，$D$ 表示所有可能的数据分布。设 $k_f(w;x)$ 表示终端 $k$ 在模型 $w$ 和样本 $x$ 上的损失函数，$F(w) := \sum_k k_f(w;x)$。

$$
[
\min_{w} { f(w) = \sum_{k \in K} \frac{n_k}{n} F_k(w) }
]
$$

为了进行协同训练，其中 $n = \sum_{k \in K} n_k$ 是所有终端数据集大小的总和。

每次FL（联邦学习）迭代都使用不同的设备选择抽样技术以降低通信成本。选定的设备利用本地求解器优化各自的局部目标函数，然后上传修改后的局部模型参数到中央服务器。中央服务器通过结合提供的特定更新参数来更改全局模型参数。大多数现有方法仅允许每个参与设备进行一定数量的均匀训练周期，而不考虑系统异构性。由于各种设备具有不同的计算、存储和通信能力，等效训练轮次的完成时间将是顺序的。一种常见的做法是丢弃未能在规定时间内完成训练的设备模型，因为等待所有设备完成会减慢整个系统的训练过程。然而，由于被丢弃的设备导致的模型偏差可能会影响总的训练精度。
灵活调整每轮中每个设备的训练周期数量可以通过求解联邦学习中每个局部目标函数的不精确解来实现。

定义5. $(\gamma−\text{近似解})$ 对于函数 $h(w; w_0) = F(w) + \mu |w - w_0|^2$，其中 $\gamma \in [0, 1]$，如果 $| \nabla h(w^*; w_0) | \leq \gamma | \nabla h(w; w_0) |$，则称 $w^*$ 是 $h(w; w_0)$ 的一个 $\gamma$−近似解。注意，较小的 $\gamma$ 值对应更高的精度。
李等人通过在每次迭代轮次中为每个设备定义γt来扩展定义3，即FedProx允许每个设备根据自身情况不精确地解决其自身的局部目标函数，并且不为各个设备配置统一的γ值；可变数量的局部迭代次数可以视为γt的代理。

另一种异构性的表现形式是统计异构性，即数据是非独立同分布的（non-IID）。在缓解系统异构性的影响之后，通常会有更多设备参与每一轮迭代训练，而参与本地模型更新的设备越多，系统中由统计异构性引起的偏差可能会越大。因此，FedProx 在解决局部函数的同时，通过添加一个近似项来限制各轮次之间局部更新的偏差。具体来说，设备 $k$ 不仅通过最小化局部函数 $F(w)$ 来更新模型参数，而是使用其本地选择求解器来近似并最小化以下目标函数 $h_k$ ：

$$
[
\min_{w} { h_k(w; w^t) = F_k(w) + \frac{\mu}{2} |w - w^t|^2 }
]
$$

FedProx 在不精确解和近端项方面对 FedAvg 进行了修改，并在以下情况下退化为 FedAvg：（1）不使用近端项，即 $\mu=0$；（2）不考虑系统异构性，即 $\gamma$ 为常数；（3）局部求解器选择为 SGD。因为它可以处理系统异构性和统计异质性的负面影响，质性在算法方面，FedProx 在实际环境中比 FedAvg 更具通用性，因此更具适应性。

4.相关工作

当前关于通过联邦学习（FL）中的差分隐私（DP）进行隐私保护的研究可以按照差分隐私的类别分为集中式差分隐私（GDP）和本地化差分隐私（LDP）。刘等人首次将差分隐私引入联邦学习，以保护用户整个数据集来实现用户级别的隐私保护；连等人进一步假设通信信道并不完全安全，并提出了一种NbAFL方案，在客户端和服务端添加适当的噪声扰动以满足差分隐私的要求。相比之下，本地化差分隐私基于不可靠第三方工作的假设，在用户端实现数据隐私，这可以显著增强隐私保护。胡等人提出了一个具有LDP保证的FL系统LDP-Fed。鉴于不同维度的数据重要性各不相同，刘等人提出了一种fedSel算法，通过在SGD迭代中选择贡献度最高的Top-k维度来减少噪声注入量。为了降低通信成本，连等人没有使用客户端随机选择等常见方法，而是设计了一种基于层次的参数选择方法，选择有价值的参数进行全局聚合，而Geyer等人则通过在其个性化联邦学习框架中对本地上传的参数添加噪声来提供差分隐私保证。

尽管关于隐私保护和权衡优化的文献非常丰富，但所有已知的努力都基于单一的隐私预算框架。算法的实用性受到用相同的安全程度保护来自不同用户的资料的影响，并且统一的保护策略无法满足日益增长的个性化隐私保护需求。

另一方面，通过在DP的统一隐私保护水平之上设置不同的隐私预算，为具有不同隐私需求的用户提供了不同级别的隐私保护。目前FL中的PDP研究主要集中在个性化LDP（PLDP）上。面对用户隐私级别选择和模型优化这两个主要挑战，沈等人提出了基于PVLDP的PLU-FedOA算法，将其模块化解决。基于随机响应机制，陈等人提出了一种扰动算法PDPM，以满足PLDP的要求。沈等人设计了三种模型，基于现有的LDP均值估计方案，以向每个用户提供定制化的隐私保护。上述所有工作从不同角度将PDP的概念引入FL，但它们并未考虑到由于用户选择和在多次迭代过程中添加噪声而导致的用户个性化隐私预算浪费的问题。最近的研究基于Niu等人提出的Ada-PDP，通过效用采样机制将DP-SGD算法扩展到PDP-SGD，并回收每次迭代中浪费的隐私预算。

以上所有工作旨在优化算法以实现更高水平的隐私保护，并不将异质性对模型的影响视为主要研究问题。在此背景下，本研究使用FedProx作为基础框架，并分别引入DP和PDP的概念，提出新的算法来评估FedProx在不同异质场景下的隐私保护性能。

5.FedProx 中的差分隐私

作为DP机制下最受欢迎的深度学习算法之一，DPSGD通过最小化经验损失函数来训练模型参数。模型总共训练T轮。在每一轮训练中，首先，通过概率不放回抽样从整个训练集中选择一个子集；第二步，计算每个样本子集的损失函数梯度；第三步，通过梯度范数阈值剪裁梯度；第四步，在剪裁后的梯度中添加高斯噪声，并聚合所有本地参数。在第五步中，模型参数通过满足DP的梯度进行更新。具体的算法流程如算法1所示。

算法 1： 差分隐私随机梯度下降 (DP-SGD)

输入： 样本 $D = {x_1, \dots, x_n}$，损失函数 $\mathcal{L}(\theta) = \frac{1}{N} \sum_i \mathcal{L}(\theta, x_i)$，学习率 $\eta_t$，噪声尺度 $\sigma$，组大小 $L$。初始化： $\theta_0$
对于 $t \in [T]$ 执行
$L_t = qL, q = L/N$ ; /* 子采样 /
$g_t(x_i) \leftarrow \Delta_\theta \mathcal{L}(\theta_i, x_i), i \in L_t$ ; / 计算梯度 /
$\overline{g}_t(x_i) \leftarrow g_t(x_i) / \max(1, \frac{|g_t(x_i)|_2}{C})$ ; / 裁剪梯度 /
$\widetilde{g}_t \leftarrow \frac{1}{L} \left(\sum_i \overline{g}_t(x_i) + \mathcal{N}(0, \sigma^2 C^2 I) \right)$ ; / 添加噪声并聚合 /
$\theta_{t+1} \leftarrow \theta_t - \eta_t \widetilde{g}_t$ ; / 梯度下降步 */
结束
输出： $\theta_T$

5.1 DP-Prox

在这项研究中，我们将DP引入FedProx框架，并以两种方式修改DP-SGD算法。一方面，用于计算梯度的目标函数增加了近端项γ，以解决由噪声添加引起的统计异质性和偏差；另一方面，通过为参与训练的设备子集设置一个非固定值，计算不精确的解并解决系统异质性对模型的影响。具体的算法流程在算法2中描述。

算法 2： 差分隐私 FedProx (DP-Prox)（提出的框架）

输入： 不精确参数 $\mu, \gamma$，设备集合 $k = {k_1, \dots, k_n}$，子集大小 $K_R$，轮数 $R$，采样概率 $q_k$
过程服务器执行 初始化： $w^0$
对于每轮 $r = 1, \dots, R$ 执行
$S_r \leftarrow q_k \times {k_1, \dots, k_n}$ ; /* 子采样 /
对每个设备 $k \in S_r$ 执行
$\Delta w^{r+1} \leftarrow \text{LocalUpdate}(k, w^r)$ ; / 客户端更新 /
结束
$w^{r+1} \leftarrow w^r + \frac{1}{K} \left(\sum_{k=1}^K \Delta w^{r+1}_k / \max(1, \frac{|\Delta w^{r+1}|_2}{C}) + \mathcal{N}(0, \sigma^2 C^2) \right)$ ; / 全局聚合 /
结束
函数 LocalUpdate $(k, w^r)$ 对于每个本地轮次 $t = 1, \dots, T$ 执行
$w^{r+1} \approx \arg \min h(w; w^r) = F(w) + \frac{\mu}{2} |w - w^r|^2$ ; / 更新参数 */
结束
$\Delta w^{r+1} = w^{r+1} - w^r$ 返回 $\Delta w^{r+1}$

5.2 PDP-Prox

我们提出了PDP-Prox算法，基于DP-Prox。通过在FedProx中引入PDP并使用个性化采样机制，PDP-Prox算法可以在FedProx框架下根据用户个性化的隐私需求为不同的用户设备设置不同的隐私预算，从而减少隐私预算的浪费。

多轮自适应采样机制

由于在DP-Prox中使用了统一值，因此在隐私保护和模型效用之间做出权衡具有挑战性。因此，Nui等人提出了一种效用感知采样机制来实现PDP，这在满足用户各种隐私需求的同时提高了算法的效用。

实现PDP主要通过采样和噪声添加的两步操作来实现，而在这两者中随机性的存在将分别导致采样误差和噪声误差。采样误差是指采样操作对原始数据集训练效果的影响，高比例的采样对应于低采样误差，而噪声误差则是指由于不同程度的隐私需求对训练结果造成的扰动程度，高隐私需求对应于高噪声误差。定义4中提到的采样机制存在一些局限性。通过定义采样阈值，原始数据集被分为未采样部分和已采样部分，未采样部分的用户会由于隐私预算的浪费而导致采样误差，因为这些数据没有被使用；与此同时，如果已采样部分用户的隐私预算高于阈值，则用户的数据将受到噪声的保护，而噪声高于隐私需求，从而导致噪声误差。采样误差和噪声误差分别定义为：

$$
[
\omega_s(\phi, \tau) = \sum_{i:\epsilon_i < \tau, \epsilon_i \in \phi} \epsilon_i (1 - \pi_i)
]

[
\omega_n(\phi, \tau) = \sum_{i:\epsilon_j > \tau, \epsilon_i \in \phi} \epsilon_i - \tau
]
$$

因此，采样阈值的选择需要衡量两种类型的错误，以减少这些错误对算法的影响。由于调整采样阈值对采样误差和噪声误差具有相反的效果，较大的阈值可以降低噪声误差对算法的影响；然而，采样概率的下降会导致采样误差增加。为了在每次计算轮次中获得最佳采样阈值，我们确定效用损失函数的最小值，并通过自适应方法允许两种类型错误的权重根据权重百分比自动调整。效用损失函数可以定义为：

$$
[
\text{waste}(\phi, \tau) = \frac{\omega_s}{\omega_s + \omega_n} \times \sum_{i:\epsilon_i < \tau, \epsilon_i \in \phi} \epsilon_i (1 - \pi_i) + \frac{\omega_n}{\omega_s + \omega_n} \times \sum_{i:\epsilon_j > \tau, \epsilon_i \in \phi} (\epsilon_i - \tau)
]
$$

对于给定的 $\phi$，可以通过求解以下优化问题来获得最优的 $\tau$。

$$
[
\begin{aligned}
& \min \text{ waste}(\phi, \tau) \
\text{s.t.} & \quad \min \phi \leq \tau \leq \max \phi
\end{aligned}
$$

用户数据使用在每轮中计算出的最佳采样阈值进行采样，每轮采样后剩余的隐私预算将在多次迭代中被利用，直到剩余的隐私预算值小于给定值。

算法过程

我们将多轮自适应采样机制应用于 DP-Prox 以实现 PDP-Prox。我们定义 $R$ 为总的迭代轮数，$n$ 为每轮的迭代次数，$\hat{\epsilon}$ 为目标轮 $R$ 的隐私预算。每轮的噪声尺度根据采样阈值计算，该阈值最初由效用损失函数计算得出。然后，使用定义4中描述的采样方法，我们选择参与每轮计算的用户设备，并使用噪声尺度计算函数来计算每轮高斯噪声的方差参数。模型参数随后通过 DP-Prox 迭代计算，而隐私会计则使用 RDP 进行计算。最后，每个设备更新其剩余的隐私预算。算法流程图如百度网盘分享，提取码：7568，算法3描述了具体的算法流程。

算法 3: 个性化 DP-Prox (PDP-Prox) (提出的框架)

输入: 不精确参数 $\mu,\gamma$，设备 $k = {k_1, \ldots, k_n}$，子集大小 $K_R$，隐私预算 $\phi = \epsilon_1, \ldots, \epsilon_n$，轮次 $R$，隐私泄露概率 $\delta$。

过程服务器执行初始化: $w^0$, $\tau$ 对于每一轮 $r = 1, \ldots, R$ 做
$\tau_R \gets \min(\text{waste}(\phi, \tau), \min \phi \leq \tau \leq \max \phi);$ /* 计算阈值 /
$\sigma \gets \text{NoiseMultiplier}(\tau_R, \delta, R);$ / 计算噪声乘数 /
$S_r \gets M_s(K, \phi, \tau_R);$ / 子采样 /
对于每个设备 $k \in S_r$ 做
$\Delta w^{r+1}_k \gets \text{LocalUpdate}(k, w^r);$ / 客户端更新 */
结束

$w^{r+1} \gets w^r + \frac{1}{K_r} \sum_{k=1}^{K_r} \Delta w^{r+1}_k;$ /* 全局聚合 /
$\epsilon’ \gets \text{Accountant}(\sigma, k, R);$ / 计算剩余预算 */
$\epsilon_k \gets \max(\epsilon_k - \epsilon’), \forall i: k_i \in S_r$
结束

函数 LocalUpdate (k, w’) 对于每个本地轮次 $t = 1, \ldots, T$ 做
$w_t’ \gets \arg \min_{w} h(w; w’) = F(w) + \frac{\mu}{2} | w - w’ |^2;$ /* 更新参数 */
结束

$\Delta w^{r+1} = w^{r+1} - w^r \Delta \tilde{w}_k = \Delta w^{r+1}_k / \max(1, | \Delta w^{r+1} |) + N(0, \sigma^2 C^2);$ /* 添加噪声 */

返回 $\Delta w^{r+1}_k$

6.实验

-数据集: 实验使用了一个合成数据集和两个真实数据集（MNIST和Fashion-MNIST）进行测试。

-DP-SGD与DP-Prox对比:
在统一隐私预算（DP）条件下，DP-Prox在系统异构性（0%、50%、90%）的情况下表现出比基线（DP-SGD）更好的收敛性。
随着系统异构性的增加，DP-SGD的收敛性下降，而DP-Prox保持较为稳定的性能，并在准确度上稍微优于基线。

-统计异构性:

在控制α和β的不同值以生成非独立同分布数据集时，DP-SGD的收敛性表现不佳。
DP-Prox在多轮训练中展现出明显的优势，随着训练轮次的增加，其准确度逐渐提升。

-参数影响:
对于DP-Prox，参数µ的值对收敛性影响显著。较高的µ值（如1）能有效提高收敛速度和准确度，而µ值为0时，模型表现较差。

-PDP-SGD与PDP-Prox对比:
在个性化隐私预算（PDP）设置下，PDP-Prox与PDP-SGD比较，PDP-Prox在准确度上可与基线相媲美，甚至在隐私要求较高的场景下提升了近5%的准确率。
PDP-Prox显示出比PDP-SGD更好的收敛性和较低的平均损失值。

7.结论

本文研究了FedProx在不同涉及隐私保护场景中当前使用算法的优化效果。在这项研究中，我们将DP和PDP的概念与FedProx框架相结合，提出了两类算法，即DP-Prox和PDP-Prox，以全面评估FedProx在隐私算法中的效用，解决异质性问题并提高模型准确性。实验结果表明，在异质性条件下，所提出的算法比基线算法收敛得更好，且收敛性能更稳定；通过在PDP设置下的全面验证，PDP-Prox可以获得更高的模型精度。

在我们当前将FedProx和DP结合的研究工作中，存在诸多方面的不足，例如不精确值的设定以及系统异质性对隐私预算回收效果的影响。作为未来的工作方向，我们希望标准化如何基于实验中异质性的实际情况来选择不精确值；另一方面，在隐私保护方面，我们希望仔细分类并选择用户隐私级别，并进一步研究在系统异质性条件下隐私预算的分配和利用。