Bert and its family
创始人
2024-02-12 19:58:05
Bert没有办法一次性读入特别长的文本的问题。自注意力机制非常消耗时间和空间。
概率值最大取argmax，对应的下标
整体全部更新，所有参数都更新，比固定住pre-trained要好很多。
不做预训练，loss下降比较慢，收敛比较慢，而且有些时候还会有些问题
做了预训练就会平滑很多
左边非常陡峭，右边比较平缓
输入稍微改变一下，非常陡峭，loss跑的非常大，效果不好，泛化能力就不好
ELMo，双向LSTM
首先把句子正向读入一遍，得到一个embedding，反向读入一遍，得到一个embedding，然后将两个embedding concat，再去做我的下游任务。
实际在下层并不是双向的，我们可以这么想，假设LSTM有非常多层，在第一次的时候，单词从左往右，要预测w4，就是输入w4的时候，得到这个embedding，那这个embedding看到了后面的单词吗，没有，这个LSTM在第一层，从左往右是单向的。反向的LSTM也看不到左边的信息。所以在下层的时候并不是真正的双向，只是说，随着层数越来越高，越来越往上层走，最上面蓝色向量对双向信息越来越敏感
七八年前的word2vec非常像，唯一的不同点在，word2vec我们会设定一个窗口大小，只能看到左边两个、右边两个， 通过这些词的信息，来预测wt，Bert的窗口是无限的
Whole Word Masking
随机的选择多长的词被mask掉，是否会更好呢
XLNet
auto regressive角度
auto encoder的角度
bart
词被替换过
T5，非常庞大的计算任务
相关内容
热门资讯
埃菲尔铁塔在哪 中国仿建埃菲尔...
2019年4月26日，广西南宁市，街头惊现一座巨型山寨版埃菲尔铁塔，高约20米，白色塔身，造型逼真，...
苗族的传统节日 贵州苗族节日有...
【岜沙苗族芦笙节】岜沙，苗语叫“分送”，距从江县城7.5公里，是世界上最崇拜树木并以树为神的枪手部落...
北京的名胜古迹 北京最著名的景...
北京从元代开始，逐渐走上帝国首都的道路，先是成为大辽朝五大首都之一的南京城，随着金灭辽，金代从海陵王...
应用未安装解决办法 平板应用未...
---IT小技术，每天Get一个小技能！一、前言描述苹果IPad2居然不能安装怎么办？与此IPad不...
脚上的穴位图 脚面经络图对应的...
人体穴位作用图解大全更清晰直观的标注了各个人体穴位的作用，包括头部穴位图、胸部穴位图、背部穴位图、胳...
长白山自助游攻略 吉林长白山游...
昨天介绍了西坡的景点详细请看链接：一个人的旅行，据说能看到长白山天池全凭运气，您的运气如何？今日介绍...
demo什么意思 demo版本...
618快到了，各位的小金库大概也在准备开闸放水了吧。没有小金库的，也该向老婆撒娇卖萌服个软了，一切只...
猫咪吃了塑料袋怎么办 猫咪误食...
你知道吗？塑料袋放久了会长猫哦！要说猫咪对塑料袋的喜爱程度完完全全可以媲美纸箱家里只要一有塑料袋的响...
世界上最漂亮的人 世界上最漂亮...
此前在某网上，选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中，人们投票选出了心目中最美...
埃菲尔铁塔在哪 中国仿建埃菲尔...
2019年4月26日，广西南宁市，街头惊现一座巨型山寨版埃菲尔铁塔，高约20米，白色塔身，造型逼真，...
北京的名胜古迹 北京最著名的景...
北京从元代开始，逐渐走上帝国首都的道路，先是成为大辽朝五大首都之一的南京城，随着金灭辽，金代从海陵王...
苗族的传统节日 贵州苗族节日有...
【岜沙苗族芦笙节】岜沙，苗语叫“分送”，距从江县城7.5公里，是世界上最崇拜树木并以树为神的枪手部落...
应用未安装解决办法 平板应用未...
---IT小技术，每天Get一个小技能！一、前言描述苹果IPad2居然不能安装怎么办？与此IPad不...