自训练和协同训练简述
创始人
2025-05-30 00:22:58

在深度学习中，自训练和协同训练是两种常见的半监督学习算法，本文将简单介绍两种算法的基本思想。

一、自训练

自训练（Self-Training，或 Self-Teaching），也叫自举法（Bootstrapping），是一种非常简单的半监督学习算法。自训练是首先使用标注数据来训练一个模型，并使用这个模型来预测无标注样本的标签，把预测置信度比较高的样本及其预测的伪标签加入训练集，然后重新训练新的模型，并不断重复这个过程。具体算法流程可参照下图： 自训练算法通过不断地迭代来提高模型能力。但自训练的缺点是无法保证每次加入训练集的样本的伪标签是正确的。此时如果选择样本的伪标签是错误的，反而会损害模型的预测能力。因此，自训练算法最关键的步骤是如何设置挑选样本的标准。

二、协同训练

协同训练（Co-Training）是自训练的一种改进方法，通过两个基于不同视角（view）的分类器来互相促进。很多数据都有相对独立的不同视角。比如互联网上的每个网页都由两种视角组成：文字内容（text）和指向其他网页的链接（hyperlink）。如果要确定一个网页的类别，既可以根据文字内容来判断，也可根据网页之间的链接关系来判断。 假设一个样本 𝒙 = [𝒙1 , 𝒙2 ]，其中 𝒙1 和 𝒙2 分别表示两种不同视角 𝑉1 和𝑉2 的特征，并满足下面两个假设： 1.条件独立性。给定样本标签 𝑦 时，两种特征条件独立𝑝(𝒙1 , 𝒙2 |𝑦) = 𝑝(𝒙1 |𝑦)𝑝(𝒙2 |𝑦)； 2.充足和冗余性。当数据充分时，每种视角的特征都足以单独训练出一个正确的分类器。 我们令 𝑦 = 𝑔(𝒙) 为需要学习的真实映射函数，𝑓1 和𝑓2 分别为两个视角的分类器，有:  ∃𝑓1 , 𝑓2 , ∀𝒙 ∈ 𝒳, 𝑓1 (𝒙1 ) = 𝑓2 (𝒙2 ) = 𝑔(𝒙) 其中 𝒳 为样本𝒙的取值空间。 协同算法要求两种视角是条件独立的。如果两种视角完全一样，则协同训练退化成自训练算法。协同训练算法的具体流程如下图所示：

由于不同视角的条件独立性，在不同视角上训练出来的模型就相当于从不同视角来理解问题，具有一定的互补性。协同训练就是利用这种互补性来进行自训练的一种方法。首先在训练集上根据不同视角分别训练两个模型 𝑓1 和 𝑓2，然后用 𝑓1 和  𝑓2 在无标注数据集上进行预测，各选取预测置信度比较高的样本加入训练集，重新训练两个不同视角的模型，并不断重复这个过程。

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：常微分方程-差分方程

下一篇：GPT-4“王炸”发布！1秒生成网站！

相关内容

热门资讯

【实验报告】实验一 图像的... 实验目的熟悉Matlab图像运算的基础——矩阵运算；熟悉图像矩阵的显示方法࿰...
MATLAB | 全网最详细网... 一篇超超超长，超超超全面网络图绘制教程，本篇基本能讲清楚所有绘制要点&#...
大模型落地比趋势更重要，NLP... 全球很多人都开始相信，以ChatGPT为代表的大模型，将带来一场NLP领...
Linux学习之端口、网络协议... 端口：设备与外界通讯交流的出口 网络协议： 　　网络协议是指计算机通信网...
kuernetes 资源对象分... 文章目录1. pod 状态1.1 容器启动错误类型1.2 ImagePullBackOff 错误1....
STM32实战项目-数码管 程序实现功能： 1、上电后，数码管间隔50ms计数； 2、...
TM1638和TM1639差异... TM1638和TM1639差异说明 ✨本文不涉及具体的单片机代码驱动内容，值针对芯...
Qt+MySql开发笔记：Qt... 若该文为原创文章，转载请注明原文出处 本文章博客地址：https://h...
Java内存模型中的happe... 第29讲 | Java内存模型中的happen-before是什么？ Java 语言...
《扬帆优配》算力概念股大爆发，... 3月22日，9股封单金额超亿元，工业富联、鸿博股份、鹏鼎控股分别为3.0...
CF1763D Valid B... CF1763D Valid Bitonic Permutations 题目大意 拱形排列࿰...
SQL语法 DDL、DML、D... 文章目录1 SQL通用语法2 SQL分类3 DDL 数据定义语言3.1 数据库操作3.2 表操作3....
文心一言 VS ChatGPT... 3月16号，百度正式发布了『文心一言』，这是国内公司第一次发布类Chat...
CentOS8提高篇5：磁盘分...        首先需要在虚拟机中模拟添加一块新的硬盘设备，然后进行分区、格式化、挂载等...
Linux防火墙——SNAT、... 目录 NAT 一、SNAT策略及作用 1、概述 SNAT应用环境 SNAT原理 SNAT转换前提条...
部署+使用集群的算力跑CPU密... 我先在开头做一个总结，表达我最终要做的事情和最终环境是如何的，然后我会一...
Uploadifive 批量文... Uploadifive 批量文件上传_uploadifive 多个上传按钮_asing1elife的...
C++入门语法基础 文章目录：1. 什么是C++2. 命名空间2.1 域的概念2.2 命名...
2023年全国DAMA-CDG... DAMA认证为数据管理专业人士提供职业目标晋升规划，彰显了职业发展里程碑及发展阶梯定义...
php实现助记词转TRX，ET... TRX助记词转地址网上都是Java，js或其他语言开发的示例，一个简单的...
【分割数据集操作集锦】毕设记录 1. 按要求将CSV文件转成json文件 有时候一些网络模型的源码会有data.json这样的文件里...
Postman接口测试之断言 如果你看文字部分还是不太理解的话，可以看看这个视频，详细介绍postma...
前端学习第三阶段-第4章 jQ... 4-1 jQuery介绍及常用API导读 01-jQuery入门导读 02-JavaScri...
4、linux初级——Linu... 目录 一、用CRT连接开发板 1、安装CRT调试工具 2、连接开发板 3、开机后ctrl+c...
Urban Radiance ... Urban Radiance Fields:城市辐射场 摘要：这项工作的目标是根据扫描...
天干地支（Java） 题目描述 古代中国使用天干地支来记录当前的年份。 天干一共有十个，分别为：...
SpringBoot雪花ID长... Long类型精度丢失 最近项目中使用雪花ID作为主键，雪花ID是19位Long类型数...
对JSP文件的理解 JSP是java程序。（JSP本质还是一个Servlet） JSP是&#...
【03173】2021年4月高... 一、单向填空题1、大量应用软件开发工具，开始于A、20世纪70年代B、20世纪 80年...
LeetCode5.最长回文子... 目录题目链接题目分析解题思路暴力中心向两边拓展搜索 题目链接 链接 题目分析 简单来说࿰...