论文笔记:Online Class-Incremental Continual Learning with Adversarial Shapley Value

news/2024/10/6 17:40:29 标签: 论文阅读, 人工智能

这篇工作的focus 是 memory-based approach

1. 挑战/问题:

  1. 灾难性遗忘:深度神经网络在学习新任务时往往会忘记先前任务的知识。
  2. 内存和计算效率:在个人设备上执行深度学习任务时,需要最小化内存占用和计算成本。
  3. 数据流增量学习:模型需要能够从非独立同分布的数据流中持续学习。

2. Contribution

  1. 提出一种Adversarial Shapley value Experience Replay (ASER)的新颖的基于replay-based的方法。 ASER 的灵感来自于合作博弈论中使用的沙普利值 (SV) ,以将总收益公平地分配给所有参与者 。
  2. 在作者的 CL 设置中,使用 SV 来确定记忆样本对学习表现的贡献。还引入了用于 CL 记忆检索的 SV 的对抗性视角,旨在根据记忆缓冲区中“友好”样本的决策边界保留(以保持学习稳定性并避免遗忘)及其对“对手”的干扰来对记忆样本进行评分当前任务中的样本会破坏现有的基于记忆的类别边界(以鼓励可塑性和最佳学习)。

3. Method

  1. Adversarial Shapley value Experience Replay (ASER):这是一种基于经验回放的方法,利用Shapley值来决定记忆样本对学习性能的贡献。
  2. 对抗性视角:引入了Shapley值的对抗性视角,以在记忆样本中找到既能够保留现有记忆类别边界,又能够最大化地干扰新任务样本的样本。

在这里插入图片描述


http://www.niftyadmin.cn/n/5691926.html

相关文章

Github优质项目推荐-第三期

文章目录 Github优质项目推荐 - 第三期一、【coding-interview-university】,305k stars - 软件工程师学习计划二、【drawdb】,20.1k stars - 数据库设计工具三、【twenty】,16k stars - 排名第一的开源 CRM四、【Douyin-Vue】,9.…

Spring Boot ⽇志

目录 1.⽇志使⽤ 2.⽇志级别 3.⽇志配置 3.1配置⽇志级别 3.2⽇志持久化 3.3配置⽇志⽂件分割 4.更简单的⽇志输出 1.⽇志使⽤ 在使用之前我们先来了解一下为什么要使用? ⽇志的⽤途 1.系统监控 我们可以通过⽇志记录这个系统的运⾏状态,对数…

sql乐观锁的实现方式

在数据库管理中,乐观锁(Optimistic Locking)是一种用于处理并发更新的机制。它假设在大多数情况下,并发更新的冲突不会频繁发生,因此在更新数据时不会立即锁定数据行,而是在更新时进行检查。如果数据自读取…

maven指定模块快速打包idea插件Quick Maven Package

问题背景描述 在实际开发项目中,我们的maven项目结构可能不是单一maven项目结构,项目一般会用parent方式将各个项目进行规范; 随着组件的数量增加,就会引入一个问题:我们只想打包某一个修改后的组件A时就变得很不方便…

文件共享软件推荐,哪些工具最实用?

预计到2025年文档共享市场将增长至近100亿美金。文件共享软件助力跨区域协作,推荐ZohoWorkDrive、GoogleDrive、DropboxBusiness。软件设计直观,上手易,可保障数据安全,选择时需考虑企业规模、需求及预算。 一、什么是文件共享软件…

无人机+无人车+机器狗+无人船:大规模组网系统技术详解

无人机、无人车、机器狗和无人船的大规模组网系统技术,是实现海陆空全空间无人设备协同作业的关键。这种组网系统技术通过集成先进的通信、控制、感知和决策技术,使得不同类型的无人平台能够高效、准确地完成各种复杂任务。以下是对该技术的详细解析&…

YOLO11改进|注意力机制篇|引入ELA注意力机制

目录 一、【ELA】注意力机制1.1【ELA】注意力介绍1.2【ELA】核心代码 二、添加【ELA】注意力机制2.1STEP12.2STEP22.3STEP32.4STEP4 三、yaml文件与运行3.1yaml文件3.2运行成功截图 一、【ELA】注意力机制 1.1【ELA】注意力介绍 这篇论文的作者通过分析Coordinate Attention(C…

FPGA时序分析和约束学习笔记(2、FPGA时序传输模型)

Tclk1TcoTdata < Tclk Tclk2 -Tsu Slack Tskew Tclk - Tsu - Tdata - Tco Skew时钟偏斜&#xff1a;时钟从源端口出发&#xff0c;到达目的寄存器和源寄存器的时间差值&#xff08;Tclk2-Tclk1&#xff09; Tsu建立时间&#xff1a;目的寄存器自身的特性决定&#xff…