谷歌放弃试用6年的超级宽带计划：谷歌光纤面临出售
06-17
深度神经网络（DNN）在新技术中通常由于跨域不匹配（跨domain不匹配）领域表现不佳。
无监督域适应（UDA）技术可以通过利用未标记的目标域样本来缓解跨域不匹配问题。
近日，特斯联科技集团首席科学家、特斯联国际总裁邵岭·博士和合作者提出了一种基于类别比较的新颖方法——类别对比（CaCo），并公布了取得的最新研究成果。
该方法在视觉 UDA 任务的实例区分上引入了语义先验。
该研究成果（标题为：Category Contrast for Unsupervised Domain Adaptation in Visual Tasks）已被收录在今年人工智能顶级会议CVPR（国际计算机视觉与模式识别会议）中。
通过将实例对比学习视为字典查询操作，团队使用来自源域和目标域的样本构建了一个类别感知和域混合的字典，其中每个目标样本为源域样本的先验类别分配了一个（伪）类别标签，并将相应的类别对比损失提供给UDA。
这鼓励学习完全满足 UDA 目标的类别区分性但域不变的表示：同一类别的样本之间的距离（无论来自源域还是目标域）被拉伸，同时样本之间的距离不同类别的内容将被推得更远。
在分割、分类和检测等各种视觉任务中的大量实验表明，与当前最先进的算法相比，CaCo 实现了卓越的性能。
此外，实验还表明，CaCo可以作为现有UDA方法的补充，并且可以扩展到其他学习方法，例如无监督模型自适应、开放/半开放集域自适应等。
无监督域自适应减轻了交叉学习的影响。
域不匹配。
无监督域适应（UDA）旨在通过利用未标记的目标域样本来减少轻微跨域不匹配问题的影响。
为了实现这一目标，科研人员针对目标域样本设计了不同的无监督训练目标函数，以训练出在目标域具有良好性能的模型。
现有的无监督损失大致可以分为三类：1）对抗性损失函数（adversarial loss）：迫使模型学习与源域相似的目标表示； 2）图像翻译损失函数（image Translation loss），将源图像转换成具有相似目标风格和外观的图像； 3）自训练损失（self-training loss），用置信度更高的伪标记样本迭代地重新训练网络。
无监督表示学习解决了无监督网络预训练的相关问题，旨在从未标记的数据中学习有区别的嵌入。
近年来，实例对比学习在无监督表示学习方面取得了重大进展。
虽然动机不同，但实例比较方法可以被视为字典查询式任务，通过将编码查询 q 与由多个编码键 k 组成的字典匹配来训练视觉编码器：编码查询应该类似于编码正例键和编码负键不同。
由于没有可用于未标记数据的标签，因此正键通常是查询样本的随机增强版本，而所有其他样本都被视为负键。
在此背景下，邵岭·博士和他的团队探索了UDA中实例比较的概念。
基于将对比学习视为字典查询任务，团队假设 UDA 字典应该是类别感知的，并且应该与来自源域和目标域的键进行域混合。
直观上，包含类别平衡键的类别感知字典可以促进从源域和目标域学习类别区分性但类别无偏见的表示。
域密钥将允许学习两个域内和跨域的不变表示，这两者都与 UDA 的目标一致。
使用类别对比方法构建具有类别感知和领域混合的字典团队提出使用类别对比方法（CaCo）构建具有类别感知和领域混合的字典，并为UDA提供相应的对比损失函数。
如图 1 所示，该字典包含跨类别和域统一采样的键，其中每个目标键都有一个预测的伪类别。
以说明词典K = {特斯连AI研发突破(2)：视觉任务中无监督域适应的类别比较} 1 ≤ c ≤ C, 1 ≤ m ≤ M为例。
每个类别 c 包含 M 个密钥，每个域包含 (C × M)/2 个密钥。
图1中，团队提出的类别比较方法通过类别对比损失函数特斯联合AI研发突破（2）：视觉任务中无监督域适应的类别比较将查询q（来自未标记的目标样本特斯联合AI研发突破(2)：视觉任务中无监督域适应的类别比较）与由键组成的字典相匹配，以训练无监督域适应编码器。
字典键来自源领域特斯连AI研发突破（2）：用于视觉任务中无监督域适应的类别比较（图中红色文字，带标签）与目标领域特斯连AI研发突破（2） ：用于视觉任务中的无监督域适应是类别比较的域混合（图中蓝色文本，带有伪标签），以便可以学习域内和跨域的不变表示。
键也是类别感知和类别平衡的，这样就可以学习类别有区别但无偏见的类别表示。
请注意，类平衡意味着每个查询 q 都会与字典中的所有键进行比较（在损失计算中），并且这些字典键均匀分布在所有数据类中，从而缓解数据不平衡。
因此，网络学习将努力最小化目标查询和字典键之间的类别对比损失。
特斯连AI研发突破（二）：视觉任务中无监督域适应的类别对比：同类别样本靠拢，不同类别样本被推开。
这自然会产生类别区分但领域不变的表示，这与 UDA 的目标完全一致。
通过应用类别感知和领域混合字典以及类别对比损失函数，所提出的类别对比通过三个理想特征解决了 UDA 挑战：1）利用类别感知字典设计，同时最小化类别内变化并最大化类别距离； 2）依靠同时包含源域样本和目标域样本的混合域字典设计，实现域间和域内的对齐； 3）依靠类别平衡的字典设计，有效缓解数据平衡问题，允许在学习过程中均匀计算所有类别的对比损失。
大量实验结果表明类别比较方法表现出优异的性能。
团队分享了其实验结果，分为以下几个维度。
泛化能力：团队通过评估CaCo在多个基本视觉UDA应用（即分割、检测和分类）中的表现来研究CaCo的泛化能力。
实验结果表明，CaCo 始终表现出与当前最先进方法相当的性能。
功能互补：团队探索了 CaCo 与现有 UDA 方法相结合的协同优势。
这表明，当添加 CaCo 时，所有现有方法都可以在不同的视觉任务中得到持续改进。
与现有无监督表示学习方法的比较：团队使用CaCo和无监督表示学习方法对UDA任务进行比较。
大多数现有方法通过一些前置任务来实现无监督表示学习，例如实例比较学习、补丁排序、旋转预测和去噪/上下文/着色自动编码器。
在 UDA 任务 GTA→Cityscapes 上进行的实验表明，现有的无监督表示学习在应用于 UDA 任务时表现并不令人满意。
主要原因是这些方法是为了学习可用于区分实例的实例判别表示而设计的，并且没有考虑语义先验和领域差距（domain差距）。
CaCo 还用于无监督学习，并且在应用于 UDA 时更加有效，很大程度上是因为它学习类别区分和领域不变的表示，这对于各种视觉 UDA 任务至关重要。
的。
参数研究：参数 M（在所提出的 CaCo 中）控制分类字典的长度（或大小）。
团队逐渐将M从50调整到50并进行研究。
在UDA分割任务GTA-to-Cityscapes上的实验表明，当M在50到50之间调整时，对UDA的影响并不明显。
不同学习类型的泛化：团队从学习类型的角度研究了所提出的 CaCo 的可扩展性。
具体来说，该团队将 CaCo 应用于各种涉及无标签数据学习和某些语义先验的任务，例如无监督模型自适应和半开放集/开放集 UDA。
结果表明，CaCo 可以稳健地表现出与当前最先进方法相当的性能。
类别感知字典：该团队研究了所提出的类别感知字典的 3 种变体设计：1）为所有键分配相同的温度参数； 2）使用两个独立的字典（用于源数据和目标数据）而不是一个单独的域混合字典； 3）使用内存库或当前小批量更新字典。
实验证实了该设计的优越性。
总的来说，邵岭·博士和他的团队提出了一种类别对比方法CaCo，它引入了通用类别对比损失函数（genericcategorycontrativeloss），可以有效地用于各种视觉UDA任务。
该团队使用源域和目标域的样本构建了语义感知字典。
根据源域样本的先验类别，为域中的每个目标样本分配一个（伪）类别标签。
这使得类别比较学习（目标查询和类别级字典之间）能够学习类别区分性和域不变表示：同一类别的样本（无论来自源域还是目标域）将更接近且不同。
类别样本同时被推开。
在分割、分类和检测等各种视觉任务中进行的大量实验表明，仅 CaCo 就可以表现出与当前最先进方法相当的性能。
此外，实验还表明，CaCo可以补充现有的UDA方法，也可以外推到其他学习类型，例如无监督模型适应、开放/半开放集域适应等。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-17
06-18
06-06
06-18
06-18
06-17
06-17
06-18
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态