NeurIPS，全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems)，该会议固定在每年的12月举行，由NIPS基金会主办。NeurIPS为人工智能领域全球最高级别的学术会议之一，是CCF-A类国际学术会议。

在2023年的NeurIPS会议中，吉林大学人工智能学院有 7 篇文章入选。

论文题目：

Learning Generalizable Agents via Saliency-Guided Features Decorrelation

论文作者：黄思理

指导教师：陈贺昌、杨博、常毅

收录会议：NeurIPS'2023

会议类别：CCF-A

论文概述：

在基于视觉的强化学习(RL)中，智能体通常难以很好地泛化至未观察到的状态空间。这些状态的变化可能发生在任务无关的特征(如背景噪声)和任务相关的特征(如机器人配置)中。为了同时在这两种情况下实现泛化，智能体需要准确地理解变异特征对决策的影响，即在策略模型中建立变异特征与决策之间的真正关联。为此，我们提出了显著性引导特征去相关（SGFD），通过样本重加权来消除特征间的相关性。具体地，我们的方法包括两个核心技术:随机傅里叶函数和显著性映射图。SGFD利用随机傅里叶函数来估计高维图像中复杂的非线性相关性，同时设计显著性图来识别变异特征。在显著性图的指导下，我们使用样本重加权来消除变异特征与未变特征间的相关性。我们的实验结果表明，SGFD可以推广到广泛的测试环境中，并且在处理任务无关变量和任务相关变量方面明显优于最先进的方法。

论文题目：

Nonparametric Teaching for Multiple Learners

论文作者：张晨

指导教师：曹晓锋

收录会议：NeurIPS'2023

会议类别：CCF-A

论文概述：

在非参迭代机器教学问题中，指导多学习者接受教师监管是挑战的。在单一学习者问题中，标量目标函数是容易被优化求解的，但这并不意味着多学习者可被刻画成标量解析函数。理论上，多学习者可刻画为矢量函数，其任一维度标量可被解析为单学习者。这一假设促使多学习者优化问题被重载为矢量解析函数，并具备方向约束性。分析表明，不同于标量化的希尔伯特再生核空间，向量数值空间解析可拥有更强方向感知力。

论文题目：

Enhancing Minority Classes by Mixing: An Adaptative Optimal Transport Approach for Long-tailed Classification

论文作者：高金彤

指导教师：郭丹丹

收录会议：NeurIPS'2023

会议类别：CCF-A

论文概述：

真实世界的数据通常面临严重的类不平衡问题，其中训练集中多数类的样本数量明显大于少数类图像。一个有效的解决方案是使用基于混合的方法来生成增广样本，以增加少数类图像的样本数。之前的方法以随机的方式混合来自多数类的图像作为背景信息和来自少数类的图像作为前景信息，这忽略了样本间的语义相似性，会导致生成语义不合理的增广图像。为了解决这个问题，我们提出了一种基于最优传输（Optimal transport）的自适应图像混合方法（OTmix），该方法结合了Class-level和Sample-level的信息，能够为少数类生成语义合理且更有意义的混合样本。由于其灵活性，OTmix可以与现有的长尾分类方法相结合以提高整体性能，也可以作为平衡数据集的通用数据增广方法。大量实验结果表明，我们的方法在长尾分类任务中取得了有效的性能。

论文题目：

Accelerated On-Device Forward Neural Network Training with Module-Wise Descending Asynchronism

论文作者：

Xiaohan Zhao, Hualin Zhang, Zhouyuan Huo, Bin Gu (通讯).

收录会议：NeurIPS'2023

会议类别：CCF-A

论文概述：

当在资源受限的边缘设备上进行优化或微调时，基于设备学习面临内存容量的挑战。当前，边缘设备上训练深度模型主要依赖反向传播技术，但反向传播的高内存消耗限制了其在这些设备上的实际应用。本文提出前向梯度下降(FGD)是一种克服设备学习内存限制的有效解决方案。然而，FGD存在层与层之间的依赖关系，妨碍了并行计算，从而导致资源利用效率低下。为了克服这一问题，我们提出了异步FGD（AsyncFGD）算法，它解耦了FGD层间的依赖关系，利用模块级别的旧参数，并最大化了并行计算的潜力。通过严格的理论分析，我们证明了该算法能够在迭代中收敛到问题的稳定点。在NVIDIA的一款流行的嵌入式设备(AGX Orin)上进行的实验说明，AsyncFGD不仅减少了内存消耗，还提高了硬件利用效率，为设备学习提供了一种全新的方法。

论文题目：

Direct Training of SNN using Local Zeroth Order Method

论文作者：

Bhaskar Mukhoty, Velibor Bojkovic, William de Vazelhes, Xiaohan Zhao, Giulia De Masi, Huan Xiong, Bin Gu(共同通讯)

收录会议：NeurIPS'2023

会议类别：CCF-A

论文概述：

脉冲神经网络(SNN)因其低能耗并具有与传统人工神经网络相接近的准确率而日益受到关注。然而SNN训练算法面临着因阶跃函数不可微而引起的梯度信息损失的问题。传统的解决方案是使用替代函数方法：在反向传播中使用阶跃函数的可微近似，而在前向传播中仍然使用阶跃函数生成脉冲信号。受到正则化以及潜在节能效果的启发，我们提出针对阶跃函数局部使用零阶技巧，并建立了它与现有替代函数方法之间的理论联系。我们在标准的静态数据集和神经形态学数据集上进行了实验验证，结果显示我们的方法在精度上超越现有技术的结果，并且在训练时间上还提供了3-4倍的加速可能性。文章相关代码可以登录网址https://github.com/BhaskarMukhoty/LocalZO获得。

论文题目：

A Unified Solution for Privacy and Communication Efficiency in Vertical Federated Learning

论文作者：

Ganyu Wang, Bin Gu （共同通讯）, Qingsong Zhang, Xiang Li, Boyu Wang, Charles X. Ling

收录会议：NeurIPS'2023

会议类别：CCF-A

论文概述：

垂直联邦学习（VFL）是协作机器学习的一种重要范式。为了使VFL实用，必须同时满足隐私安全和通信效率。最近的研究表明，零阶优化（ZOO）是一种有效的VFL方法。然而，该方法存在两个待解决的关键问题：1）相较于基于梯度的VFL，ZOO训练效率低下，限制了其在大规模神经网络上的应用。2）缺少对基于ZOO的VFL隐私保护的理论解释。为了解决这些问题，我们提出了一种新颖的级联混合优化方法，它在客户端的关键输出层使用零阶梯度，而其他部分使用一阶梯度。这一方法既保持了ZOO的隐私保护效力，又显著提高了收敛速度。此外，我们在理论上证明了将ZOO应用于VFL等效于在梯度信息中添加高斯机制，从而提供了隐式的差分隐私保护。实验结果表明，我们提出的框架在相同的隐私预算下实现了与高斯机制相似的推广能力，同时与最先进的VFL框架相比，具有显著更低的通信成本。

论文题目：

Fine-Grained Theoretical Analysis of Federated Zeroth-Order Optimization

论文作者：

Jun Chen, Hong Chen, Bin Gu, Hao Deng.

收录会议：NeurIPS'2023

会议类别：CCF-A

论文概述：

联邦零阶优化（FedZO）算法融合了零阶优化和联邦学习的优点，已在黑盒攻击和Softmax回归任务中表现出卓越性能。然而，对于FedZO的泛化分析较少，并且在计算收敛速度的分析上比相应的一阶优化设置要慢。本文旨在通过发展“平均模型稳定性”分析技术，建立FedZO的系统理论评估。我们在Lipschitz连续性和光滑性条件下建立了FedZO的首个泛化误差界。接着，通过用重尾梯度噪声替代有界梯度，并利用梯度近似的二阶泰勒展开，提供了更精细的泛化和优化界。借助新的误差分解策略，我们的理论分析还扩展到异步情况。对于FedZO，我们精细的分析填补了泛化保证的理论空白，完善了计算算法的收敛特性。