Transformer文档阅读
window.MathJax = { tex: { inlineMath: [['$', '$'], ['\\(', '\\)']], displayMath: [['$$', '$$'], ['\\[', '\\]']] } }; 1.torch.nn.Transformerclasstorch.nn.Transformer(d_model=512, nhead=8, num_encoder_layers=6, num_decoder_layers=6, dim_feedforward=2048, dropout=0.1, activation=, custom_encoder=None, custom_decoder=None, layer_norm_eps=1e-05, batch_first=False, norm_first=False, bias=True,...
Transformer示例代码解读
window.MathJax = { tex: { inlineMath: [['$', '$'], ['\\(', '\\)']], displayMath: [['$$', '$$'], ['\\[', '\\]']] } ...
改进具有动态可组合多头注意力的Transformer
window.MathJax = { tex: { inlineMath: [['$', '$'], ['\\(', '\\)']], displayMath: [['$$', '$$'], ['\\[', '\\]']] } ...
改进具有动态可组合多头注意力的Transformer
window.MathJax = { tex: { inlineMath: [['$', '$'], ['\\(', '\\)']], displayMath: [['$$', '$$'], ['\\[', '\\]']] } }; 1.摘要由于其全局注意力机制，Graph Transformer已成为处理图结构数据的新工具。人们普遍认为，全局注意力机制在全连接图中考虑了更宽的接受域，因此许多人相信可以从所有节点中提取有用的信息。本文挑战了这一信念：全局化的特性是否总是有利于Graph Transformer？我们通过提供实证证据和理论分析揭示了Graph...
改进具有动态可组合多头注意力的Transformer
window.MathJax = { tex: { inlineMath: [['$', '$'], ['\\(', '\\)']], displayMath: [['$$', '$$'], ['\\[', '\\]']] } ...
改进具有动态可组合多头注意力的Transformer
window.MathJax = { tex: { inlineMath: [['$', '$'], ['\\(', '\\)']], displayMath: [['$$', '$$'], ['\\[', '\\]']] } ...
20241105-CSAPP课本阅读
window.MathJax = { tex: { inlineMath: [['$', '$'], ['\\(', '\\)']], displayMath: [['$$', '$$'], ['\\[', '\\]']] } }; 第2章 信息的表示和处理2.2 整数表示用位来编码整数的两种不同的方式：一种只能表示非负数，另一种可以表示非负数、零和正数 2.2.1 整型数据类型两条规律：unsigned的最值是signed最值的两倍；了解signed的相关信息：char：2的8次方；short：2的21次方；int、long是2的43次方。特别：C和C++都支持有符号（默认）和无符号数，Java只支持有符号数。 2.2.2 无符号数的编码假设有一个整数数据类型有w位，对于量$\vec{x} = [x_{w-1}, x_{w-2}, \cdots, x_0]$: $$B2U_{w}(\vec{x}) \doteq \sum_{i=0}^{w-1} x_i \cdot 2^i\quad...
20241105-CSAPP课本阅读
window.MathJax = { tex: { inlineMath: [['$', '$'], ['\\(', '\\)']], displayMath: [['$$', '$$'], ['\\[', '\\]']] } }; 第2章 信息的表示和处理2.3 整数运算2.3.1 无符号加法对于参数x和y的相关运算，操作 $+_w^u$ 描述为： 原理：无符号数加法 对满足 $0 \le x, \ y < 2^w$ 的 $x$ 和 $y$ 有： $$x +_w^u y =\begin{cases}x + y, & x + y < 2^w \quad \text{正常} \x + y - 2^w, & 2^w \le x + y < 2^{w+1} \quad \text{溢出}\end{cases}\tag{2.11}$$ 此外，判定是否发生的溢出的原理如下：原理：检测无符号数加法中的溢出对在范围 $0 \le x, \ y \le UMax_w$ 中的 $x$ 和...
解决异构联邦优化中的目标不一致问题-论文阅读
window.MathJax = { tex: { inlineMath: [['$', '$'], ['\\(', '\\)']], displayMath: [['$$', '$$'], ['\\[', '\\]']] } }; Tackling the Objective Inconsistency Problem in Heterogeneous Federated...
Fedprox在隐私保护方面的考虑
window.MathJax = { tex: { inlineMath: [['$', '$'], ['\\(', '\\)']], displayMath: [['$$', '$$'], ['\\[', '\\]']] } }; Journal | [J] Electronics. Volume 12 , Issue 20 . 2023. PP 4364- Consideration of FedProx in Privacy...