你的位置:欧美黄瓜视频在线观看_呦男呦女视频精品导航_少妇苏霞白洁刺激A片_美女被强奷到高潮免费_强奷乱码中文字幕在线_久久青青草原一区二区_变态乱另类仑小说专区 > 少妇富婆按摩偷人A片 >


六十路熟妇v在线视频其准确率不错达到80%

发布日期:2022-09-23 06:03    点击次数:141


亚洲午夜天堂小电影六十路熟妇v在线视频

 

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请关联出处。

在炼丹经由中,为了减少老师所需资源,MLer巧合会将大型复杂的大模子“蒸馏”为较小的模子,同期还要保证与压缩前超越的截止。

这即是常识蒸馏,一种模子压缩/老师步调。

不外跟着工夫发展,大师也逐渐将蒸馏的对象推广到了数据集上。

这不,谷歌最近就提议了两种新的数据集蒸馏步调,在推特上引起了不小反响,热度提升600:

数据缩至1/5000,模子准确率却翻倍,谷歌新“蒸馏法”火了

像这么, 将50000张标注图像的CIFAR-10数据集“蒸馏”松开至1/5000大小,只基于10张合成数据点进行老师,模子的准确率仍可类似51%:

数据缩至1/5000,模子准确率却翻倍,谷歌新“蒸馏法”火了

△上:原始数据集 下:蒸馏后

而如若“蒸馏数据集”由500张图像构成(占原数据集1%大小),其准确率不错达到80%。

两种数据集蒸馏步调诀别来自于ICLR 2021和NeurIPS 2021上的两篇论文。

数据缩至1/5000,
<a href=老女肥熟av免费观看模子准确率却翻倍,谷歌新“蒸馏法”火了"> 数据缩至1/5000,模子准确率却翻倍,谷歌新“蒸馏法”火了 通过两阶段轮回进行优化

那么要若何才调“蒸馏”一个数据集呢?

其实,这超越于一个两阶段的优化经由:

“里面轮回”,用于在学习数据上老师模子 “外部轮回”,用于优化学习数据在当然数据上的性能

通过里面轮回不错得到一个核岭转头(KRR)函数,然后再外部轮回入彀算原始图像标注与核岭转头函数算计标注之间的均方过错(MSE)。

这时,谷歌提议的两种步调就诀别有了不同的惩办道路:

一、标注解释 (LS)

这种步调径直解释最小化KRR失掉函数的援助标注集(support labels),女同同性视频网站并为每个援助图像生成一个特有的密集标注向量。

数据缩至1/5000,模子准确率却翻倍,谷歌新“蒸馏法”火了

△蓝:原始独热标注 橙:LS生成的密集标注

二、核归纳点 (KIP)

这种步调通过基于梯度的步调将KRR失掉函数最小化,以此来优化图像和可能生成的数据。

以MNIST为例,下图中的上、中、下三张图诀别为原始的MNIST数据集、固定标注的KIP蒸馏图像、优化标注的KIP蒸馏图像。

不错看出,在于对数据集进行蒸馏时,优化标注的成果最佳:

数据缩至1/5000,模子准确率却翻倍,谷歌新“蒸馏法”火了

对比已有的DC(Dataset Condensation)步协调DSP(Dataset Condensation with Differentiable Siamese Augmentation)步调不错看到:

如若使用每类别唯唯独张图像,也即是临了唯独10张图像的蒸馏数据集,KIP步调的测试集准确率全体高于DC和DSP步调。

在CIFAR-10分类任务中,LS也优于先前的步调,KIP致使不错达到翻倍的成果。

数据缩至1/5000,模子准确率却翻倍,谷歌新“蒸馏法”火了

对此,谷歌示意:

这证据了在某些情况下,咱们的松开100倍的“蒸馏数据集”要比原始数据集更好。

两位华人作家

统统形势由萧乐超(Lechao Xiao)、Zhourong Chen、Roman Novak三人合营完成。

其中萧乐超为LS步调的论文作家之一,本科毕业于浙江大学的愚弄数学系,在美国伊利诺大学厄巴纳-香槟分校(UIUC)获得博士学位,目下是谷歌大脑团队的又名科学家。

他的主要斟酌标的是数学、机器学习和深度学习。

数据缩至1/5000,模子准确率却翻倍,谷歌新“蒸馏法”火了

另一位华人科学家Zhourong Chen则是KIP步调的论文作家之一,本科毕业于中山大学,并在香港科技大学获得了运筹帷幄机科学与工程系的博士学位,现是Google Research的又名软件工程师。

论文: [1]https://openreview.net/forum?id=l-PrrQrK0QR [2]https://openreview.net/forum?id=hXWPpJedrVP

开源地址: https://github.com/google-research/google-research/tree/master/kip

 



    热点资讯

    相关资讯