小样本学习调研_为什么连续的小样本关系抽取中,灾难性遗忘变得更加严重-程序员宅基地
元学习小样本学习论文总结200篇至 [email protected]申请
一：零碎纪录
1.最前沿：让神经网络学习比较来实现少样本学习 - Flood Sung的文章 - 知乎 https://zhuanlan.zhihu.com/p/35379027
2.几个博客
二：2018年小样本学习年度进展报告（付彦伟-复旦大学）
1.有监督和无监督方法
2.基于迁移学习的方法
目前的实验结果显示：大部分已经发表的one-shot learning方法在miniImageNet数据集上的结果，比不过resnet-18的结果
- Wang Yuxiong的文章Learning to Learn: Model Regression Networks for Easy Small Sample Learning，他们用原数据构建了很多模型库，然后目标数据直接回归这些模型库。具体就是在source class上训练一个regression network。对于大量样本我们可以得到一个比较好的分类器。对于少量样本我们可以得到一个没那么好的分类器。这个regression network的目的就是把没那么好的分类器映射成比较好的分类器。即，把一个分类器的权重映射到另一个分类器。
- Matching Networks for One Shot Learning，这个文章很有意思，从标题中就能读出大概做了什么工作。对于一张图片，我们训练一个matching network来提取它的feature。然后用一个简单的数学公式来判断feature之间的距离。对于新的图片，根据它与已知图片的距离来进行分类。这篇文章精巧地设计了训练的过程，来使得这个过程与测试时的过程一致。
- （model-agnostic meta-learning for fast adaptation of deep networks）MAML，是与模型无关的meta-learning的方法，它主要侧重于深度网络的快速适应。这篇文章的思想就是找到一个网络最好的初始位置，这个初始位置被定义为：经过几个小样本的调整后可以得到最好的表现。
- Optimization as a model for few-shot learning，也是meta-learning的方法，将任务组织成一个最优化的问题。这篇文章将梯度下降的过程与LSTM的更新相对比，发现它们非常相似。所以可以用LSTM来学习梯度下降的过程，以此使用LSTM来做梯度下降的工作。
- meta networks(ICML2017)，也是meta-learning方法。其中利用了少量样本在基础网络中产生的梯度，来快速生成新的参数权重。
- NIPS一篇prototypical network for fast shot learning，主要是在matching networks的基础上做了一些更改。它们给每一个类一个原型，样本与类的距离就是样本与原型的距离。然后选用欧氏距离替代了matching network的余弦距离。
- CVPR的Learning to compare: Relation network for few-shot learning。简单来说就是用embedding module来提取feature。然后用relation module来输出两个feature之间的距离。一次来通过距离进行分类选择。
- 更多论文
3.数据增强的文章介绍
- semantic feature augmentation in few-shot learning,作者今年的提交到ECCV的一个工作，用左边的encoder-trinet把视觉特征映射到语义空间。因为语义空间上有更丰富的信息，可以在语义空间上做数据扩充（添加高斯噪声和寻找最近邻），再映射回视觉空间来得到更多的扩充样例。
- ICCV2017这篇文章根据已有的图像去生成新的图像，然后做low-shot 视觉识别。具体来说，比如说你有三张图片：一张是鸟，一张是鸟站在树枝上，一张是猴子。那么你可以学习一个网络让它生成猴子站在树枝上的图片。本质上是，想把一个类的变化迁移到另一个类上，以此来做数据扩充。
- 去年在CVPR上发表的文章AGA，主要针对3D数据，把图像投影到一个属性空间做数据增强。这是一个few-shot learning方法。具体就是，给定几张距离观测者不同距离的桌子的照片，以及一张凳子的照片，让机器学会如何去生成不同距离的凳子的照片，以此来做数据扩充。
4.小样本学习灾难性遗忘的问题
在 one-shot learning之上，我们还可能遇到一个问题，one-shot learning只关注目标类别上的分类问题，我们希望学习到的模型对源数据类别也适用，否则将带来一个问题，被称为灾难性遗忘。
- 发表在PNAS的文章提出EWC 模型来解决这个问题。灾难性遗忘往往源于我们学习任务B的时候更新网络，使得任务A做的没那么好了。EWC提供了一种方法来计算权重对于任务A的重要性，把重要性引入到损失函数中，来避免更改会影响A效果的权重。
- 还有learning without forgetting这篇文章，也是侧重于解决这个问题。简单来说就是拿到一个新任务后，我们会更新网络。我们希望在更新网络前后网络没有太大变化，所以我们添加一个loss来限制网络更新前后对于这个新的任务输出的特征不能有太大变化，也就是一个distill loss。
小样本学习还有很多可以研究的东西。目前的成果主要还是基于把已知类别的一些信息迁移到新的类别上。可能未来可以尝试下更多的方向，比如利用无监督的信息或者是半监督的方法。
论文集下载，提取码: ksny
智能推荐
Python中定义函数时参数有默认值的小陷阱_定义函数,如果形参有默认值-程序员宅基地
在定义函数的时候，如果函数的参数有默认值，有两种类型的参数，一种是整数，字符串这种不可变类型，另一种是列表这种可变类型，对于第一种情况没有什么特殊的地方，但是对于可变类型，有一个微妙的小陷阱。可变类型以及小陷阱：'''遇到问题没人解答？小编创建了一个Python学习交流QQ群：579817333 寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！'''def ..._定义函数,如果形参有默认值
从0到1认知分布式系统_竞争和分布式系统-程序员宅基地
从0到1整体认知分布式系统概要： 1. 分布式架构的发展历史与背景 2. 如何着手架构一套分布示式系统 3. 分布式架构所带来的成本与风险分布式架构的发展历史与背景场景一： 一家做政务OA系统的公司老板发现跟竞争对手比发现自己的系统的架构不是分布示的，找到技术负责人问，把系统架构升级成分布示架构要多长时间？技术负责人网上查了查 dubbo官网看了看 Demo 这不很简单吗，拍着胸脯一_竞争和分布式系统
Flink的Session Window的简单使用_flink sessionwindow-程序员宅基地
Flink的Session Window的简单使用一、Session Window的概念参见官方文档https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/stream/operators/windows.html#session-windows二、业务需求本文的需求是：通过flink处理用户的行为日志，如果..._flink sessionwindow
cuda-gdb 调试 Program terminated with signal SIGKILL, Killed. The program no longer exists._gdb sigkill killed-程序员宅基地
cuda-gdb 调试 Program terminated with signal SIGKILL, Killed. The program no longer exists._gdb sigkill killed
你知道数据发散和数据倾斜么？-程序员宅基地
该问题已同步到小程序：全栈面试题问题在数据开发日常工作当中，数据发散和数据倾斜问题是比较常见的。那么我们该如何判断呢？同时该如何规避这两种问题呢？注意：该问题也经常会被面试官拿来提问面试者解答基于以上问题，大佬们给出了如下的回答：数据发散Destiny：对于数据发散问题，可以查看left join关联对应的右表数据是否有重复，如果出现重复的情况，那么就会造成一对多，可能会出现发散情况。致远大佬给出了本质性的解答：数据发散是因为关联字段值不唯一导致的。Nic大佬分享了遇到的数据_数据发散
图说计算机病毒史-程序员宅基地
计算机病毒由来已久，最初它们只是一些恶作剧，如今有的已经发展成了军事武器。最近有一家名为“Computer Virus Catalog”的网站对计算机病毒历史进行了研究，并且还给每一个病毒配上了图片。在这份历史榜单中，我们病毒主要集中在DOS时 代，特别是上世纪90年代末的病毒繁荣期，当然许多著名的恶意软件也随着时间流逝被淹没在历史长河中。后来，很多病...
随便推点
P3817 小A的糖果（贪心算法）-程序员宅基地
题目描述小A有N个糖果盒，第i个盒中有a[i]颗糖果。小A每次可以从其中一盒糖果中吃掉一颗，他想知道，要让任意两个相邻的盒子中加起来都只有x颗或以下的糖果，至少得吃掉几颗糖。输入输出格式输入格式：第一行输入N和x。第二行N个整数，为a[i]。输出格式：至少要吃掉的糖果数量。输入输出样例输入样例#1：复制3 32 2 2输..._小a的糖果
创建SpringBoot遇见 Unable to import maven project: See logs for details-程序员宅基地
Inteliij IDE 版本号 2018.3.6Maven版本 3.6.3建立SpringBoot单体应用后 导入依赖出现Unable to import maven project: See logs for details的问题 始终无法导入，查看配置 镜像等都没有问题解决方案：Help - show log in finder 查看日志2020-10-20 16:15:08,155 [ 83875] ERROR - #org.jetbrains.idea...
win7 64位DCOM配置（关于导出excel 配置计算机组件服务）(转)-程序员宅基地
http://blog.sina.com.cn/s/blog_9323b3a50101qrxm.html【解决方案1】1:在服务器上安装office的Excel软件.2:在"开始"->"运行"中输入dcomcnfg.exe启动"组件服务"3:依次双击"组件服务"->"计算机"->"我的电脑"->"DCOM配置
图像处理7：基于特征点匹配的目标检测_特征点匹配目标追踪_Shuai@的博客-程序员宅基地
基于特征点匹配的目标检测void CMFCworkDlg::OnBnClickedButton16(){ // TODO: 在此添加控件通知处理程序代码 //Load Image Mat src1 = imread("1.1.jpg", 1); Mat src2 = imread("1.2.jpg", 1); imshow("src1", src1); imshow("src2", src2); if (!src1.data || !src2.data) { __特征点匹配目标追踪
计算机技术专硕学制两年的学校,专业硕士要求是两年学制还是三年学制呢这两者之间有什么区别...-程序员宅基地
一般学校每一年都会授予统一的课程，那么经过两年或者三年的学习，专业硕士可以毕业了，具体这个专业是规定几年，要看学校的情况，一般很多学校是两年的规定，有的专业是三年，但不论是要求读几年，双证在职研究生都有一些弹性的时间。第一，学校的规定来看具体情况在学校里面一般都会说明，同时一般有一些各种情况，有的学校里面都是三年的专业，有的学校里面同时存在两种专业，也就是某些专业是两年，有的专业是三年了，比较特殊..._计算机两年制和三年制的区别
git学习-branch_git branch -aa-程序员宅基地
持续更新中1.branch重命名分支重新命名本地分支git branch -m oldbranch newbranch #重命名分支git branch -M oldbranch newbranch#如果newbranch名字分支已经存在，则需要使用-M强制重命名，否则，使用-m进行重命名重命名远程分支：在git中重命名远程分支，其实就是先删除远程分支，然后重命名本地分支，再重新提交一个远程分支。此处不再赘述 参考文章https://blog.zengrong.net/post/delet_git branch -aa