CNN自监督预训练新SOTA：具有一般来说结构的图像表征自学习新框架

训现实生活中的主要用途范本对比修习的抽取考虑，从而将级别化的语法接收者带进到缩放也就是说中的。

考虑性对比修习

在获取了一系列具备级别结构上、潜在地也就是说某一并不一定的原形标量后, 可以基于这些原形标量考虑越发完全符合语法结构上的对比修习抽取.

考虑性并不一定来说对比修习

首先，我们简述回顾一下自范本对比修习的除此以外。对比修习的目的可以概括为发挥作用「独有相吸」、「异类互斥」。在不考虑原形标量的情形, 基于并不一定来说的对比修习通过假设仍要输抽取对, 并在也就是说生活空间中的平衡仍要抽取对相互间的相同度而给定输抽取对相互间的相同度来发挥作用上述目的。

此前的新方法 (如 NPID、MoCo 等) 将同一缩放经过相异随机资料减慢后的版作为仍要抽取对，而将相异缩放作为输抽取对。这样的方式发挥作用一个关键的疑虑：所考虑的输抽取对显然总称有所不同并不一定，从而使得有所不同并不一定的抽取在也就是说生活空间中的互相远离，这将在无论如何上破坏建模所修习到的也就是说有效性。

出现这一疑虑的从根本上在于没有人额外的并不一定接收者范本对输抽取的考虑。如果我们想到并不一定接收者，则可以将独有输抽取去除 (这些独有输抽取也可以称为假输抽取)，从而尽量避免促使梯度阻尼。在自范本的情形，虽然没有人直观的并不一定接收者，但我们通过此前的级别聚类现实生活获取了一系列聚类关键字。在这些聚类关键字的尽力下, 可以相对于地达到去除假输抽取的目的：如果一对抽取总称有所不同的聚类中的心, 则从输抽取对中的去除即可。

愈来愈进一步地，考虑到聚类关键字的不确定性，该研究课题通过给予 - 拒绝谐波的方式对输抽取开展考虑。对于一个缩放也就是说z，级别聚类的结果可以导出该缩放在第l层隶属的聚类中的心

（其中的s(·)是相同度formula_，在该研究课题中的通过 cosine 相同度发挥作用）；这一聚类中的心都是了该缩放在这一层中的隶属的并不一定。最后，对于候选输抽取

，它被考虑的作为输抽取的机率为:

清晰而言, 一个候选输抽取被考虑的机率可以相对于被详细描述为「与远距离抽取总称相异聚类中的心的机率」经过考虑现实生活后, 愈来愈高质量的输抽取集 将被主要用途数值 InfoNCE 严重损失. 在多个级别聚类中的心范本下, 终究的考虑性并不一定来说对比修习 (Instance-wise Contrastive Selective Coding, ICSC) 的严重损失formula_为：

考虑性原形对比修习

除了主要用途范本并不一定来说间的对比修习，级别原形还可主要用途辅助原形对比修习。原形对比修习是缩放也就是说与聚类中的心相互间的交互，可以简单总结为在也就是说生活空间中的平衡缩放也就是说与其隶属的聚类中的心的相同度。

除此以外地，如果通过随机谐波的方式成型输原形论域 N_c，那么其中的也显然发挥作用与聚类中的心 c 语法相同的原形 (例如 c 的外甥路由)：如果某张缩放是马国绵羊，考虑相同的品种例如格陵兰绵羊作为输例开展对比修习并不是一个好默认。而级别结构上的发挥作用为考虑有效的对比原形提供了一个解决方案：与此前考虑对比抽取完全有所不同，我们只需要数值某一候选原形与远距离原形的兄路由的相同度，即可考虑与远距离原形大机率不是相对于并不一定的原形，从而尽量避免显然促使阻尼的对比原形。具体而言, 某个聚类中的心c_j被考虑作为对比原形的机率为：

完全有所不同地, 这一机率可以被详细描述为「某一原形与远距离原形总称相异兄类的机率」。基于经过考虑后的输原形论域

，考虑性原形对比修习严重损失被假设为：

之后, 我们将两种改进后的对比修习严重损失开展组合获取终究的优化远距离：

实验结果

主要结果

科内学家们在 ImageNet-1k 线性分类法、KNN、半范本修习以及跨资料集的移往修习 (包括在 VOC、COCO 资料集的远距离验证特殊任务以及在 VOC、Places205 资料集的分类法特殊任务) 的实验设置下与基于 CNN 架构的 SOTA 新方法开展了对比，HCSC 在多个特殊任务中的除此以外夺得了出色的效果。

相异受训配置下建模稳定性对比：

愈来愈多下游特殊任务的稳定性对比：

可视化

除了量化实验，该文章还证明了了清晰的可视化结果。科内学家们展示了 HCSC 在 ImageNet 上的聚类结果，在上上图中的可以明显地看出发挥作用级别结构上：掏着鱼的灰狼 => 在水上的狼或者一只猫 => 在水上的爬虫类。

另外一个例长子, 科内学家们展示了一个经典的语法竹长子状结构上：

除了级别结构上可视化，科内学家们也展示了 HCSC 受训现实生活中的删减的「假输抽取」：例如对其中的一个鸟类抽取，删减的对比输抽取也大部分为鸟类。

降温实验

科内学家们还做了充分的降温实验来验证了所设想的级别原形和抽取考虑接口的有效性， 以及对每层原形使用量考虑的对比实验。可见：

1. 级别原形、并不一定来说抽取考虑、原形抽取考虑接口的有效性都获取了验证，可以分别在 baseline (67.6)的为基础适当涨点 (67.6 => 68.9 => 69.2)，其中的效果最明显的是并不一定来说抽取考虑接口。

2. 在原形使用量有所不同的情形，带有级别结构上的原形 (3000-2000-1000) 比单层原形 (6000) 夺得胜于的稳定性。这也可知了级别原形的有效性。另一方面，建模对进一步增加级别数以及各层原形的使用量不敏感。

一作介绍

郭远帆: 西安交通大学电长子系二年级在校生, 他的学生为徐奕副研究课题员. 他本科生内任教西安交通大学, 本科生内之后主要研究课题侧向为数值机缩放、医学影像处理事件, 在MICCAI、ISBI、Neurocomputing等会议与医学期刊中的以第一所写/主导第一所写身份公开发表文章三篇. 政治学之后研究课题侧向为数值机缩放、自范本修习, 在个字符颤动实习之后完成该研究课题工作。

徐明皓，Mila 曼尼托巴机器学习研究课题所一年级博士生，他的学生是唐建教授，主要研究课题侧向是上图也就是说修习、缩放也就是说修习和药物发现。他本科生内和政治学任教西安交通大学，在浙江大学数值机缩放实验室开展科内研工作，他的学生是倪冰冰教授，之后的主要研究课题侧向为移往修习和缩放数值。他在 NeurIPS、ICML、CVPR、ICCV、ECCV 等会议上以第一所写 / 主导第一所写身份公开发表文章七篇。。

芬必得与双氯芬酸钠缓释胶囊哪个管用
浑浑噩噩提不起精神怎么办
谈咳宁饭前吃饭后吃
眼睛干涩疼痛有什么办法可以缓解
儿童急性腹泻拉水吃什么药好的快