你的位置:欧美黄瓜视频在线观看_呦男呦女视频精品导航_少妇苏霞白洁刺激A片_美女被强奷到高潮免费_强奷乱码中文字幕在线_久久青青草原一区二区_变态乱另类仑小说专区 > 少妇富婆按摩偷人A片 >


海滩裸体女厕撒尿视频最好是 1000(不外该回话遭到了他人的反驳)

发布日期:2022-09-23 06:03    点击次数:186


西门庆与潘金莲同床海滩裸体女厕撒尿视频

每个机器学习领域的商榷者都会濒临调参流程的磨炼,当每每说来容易做来难。调参的背后每每是连明连夜的论文商榷与 GitHub 查阅,并需要做多半的实验,不仅耗时也消耗多半算力,更深深地伤害了宏大工程师的头发。

有人不禁要问:调参是门哲学吗?为什么模子明明调教得很好了,但是戒指离我的遐想总有些偏差。

近日,reddit 上一则帖子激发了网友热议,「机器学习调参领域有哪些迷信的主见或做法呢?」

原贴地址:

https://www.reddit.com/r/MachineLearning/comments/rkewa3/d_what_are_your_machine_learning_superstitions/?sort=confidence

对于调参的那些「诀要」

在机器学习中,超参数调遣是一项必备手段,通过明察在磨砺流程中的监测主义如亏损 loss 和准确率来判断现时模子处于什么样的磨砺情状,实时调遣超参数以更科学地磨砺模子简略提高资源诳骗率。

每个人都会证据我方的本色告诫进行模子调参,最终,绝大多数商榷者可能得出的告诫即是:

Random seed = 0 得到坏的戒指 Random seed = 42 得到好的戒指 Even-valued k in k-Means = insightful segmentation

有人将这一告诫回想奉为所谓的 ML「迷信做法」,但其实否则,简直统统学者都这么做。

不外,也有网友对这一告诫回想持怀疑作风:网友 @SlashSero 缺憾地示意,这种情况致使会出面前十分知名的科学出书物上,尤其是在交叉考据不能行或者易受其他参数聘请影响的机器学习应用中,因此超参数优化(HPO)不能行。不妨望望 NeurIPS 会论说文有若干领有竟然透明的代码库和易于复现的交叉考据商榷,以说明他们的使命较前年普及了 0.5-1% 的性能。

另外,许多时候出于对商榷者的信任,但其实会导致新的深度学习模子在践诺中并莫得阐发出彰着优于传统模子的性能。咱们应该看到,社区存在这么一种近况:破耗多半时分确保模子竟然达成它所阐发出的性能,何况可复现和透明,这是一项荒野迷踪的使命。消耗贪图资源不说,还有可能失去在一个发展极快的领域发表论文和获取赏赐的契机。

为了实现模子最好性能,各路网友也纷纷晒出我方的炼丹告诫:有网友以为 Random seed 必须是 10 的倍数,最好是 1000(不外该回话遭到了他人的反驳)。

除了 Random seed 成立外,有商榷者共享了我方的一些科研小技巧。

模子的磨砺流程,近乎黑盒,假按时分发生要领诞妄,很难察觉到,有网友提出随处随时进行「print」是一个很好的习气, 叫床声在要领第一次运行时,一定要打印统统可能的东西,「print」能让你流露要领进行到哪一步,有莫得堕入死轮回...... 其实,绝大多数要领员都会这么做。

除了「print」外,有人示意日记记载也十分有必要,在实验室做科研,偶然为了跑一个要领,需要破耗好几天的时分,但总有那么不欢畅的处所,要么好久束缚电的实验室片刻断电,要么办事器崩了…… 是以随处随时保存日记亦然每个要领员必备的,稽查日记记载,你能发现要领运行到哪了,不祥臆度模子性能,还能稽查诞妄:

还有网友晒出了我方的 dropout 告诫,啪到深处抽搐动态视频以为朝上 20% 的 dropout 将使该模式难以归附。不外这仅仅这位网友我方的告诫,也有人示意我方承袭 90% 的 dropout,模子性能最好。

除此之外,有网友回想了批大小应该是 2 的幂次方。

以上即是网友回想的一些 ML 炼丹小技巧。

哲学论文难复现

天然调参有效,但网友 @ostrich-scalp 机敏地酌量道,「大多数论文的戒指都是瞎掰八道,将我的办事活命都用来实现这些使命并期许创建有模有样可用于坐褥的模子,这是一个极大的诞妄。」

上头那位老哥 @SlashSero 接茬说道,「令人难以置信的是,ACM、IEEE、IAAA 和 NeurIPS 上发表的论文有若干全都仅仅出于对作家的信任。到面前为止,你可能但愿统统知名期刊和会议都条目论文作家开源和复当代码,但这种情况仅仅例外。」

较着,机器学习是一门技巧。天然神经收集黑箱的情状让可讲解性受限,但咱们不错在较高层面上通过告诫贬责濒临的问题。咱们需要加载数据,成立框架,让系统运行起来,设定度量要领,调遣参数并分析误差,进行特征工程,戒指可视化等等要领。最终经过数次迭代直至推理的准确率不再普及。

那么为什么各式哲学表象仍然束缚出现,拷问着咱们的心灵?看来,咱们对这门学科的了解还不够多。

不外请记着 NIPS 2017 大会上图灵奖得主 Judea Pearl 演讲的终末一页 Keynote:

数据科学仅当能促进对数据的合会通读时材干被称为科学。

不外也无须怕,深度学习调参总依然有技巧可循的,梗概不错回想如下。这些算不得迷信做法,仅供参考。

寻找合适的学习率。当作一个十分庞大的参数,学习率面对不同规模、不同 batch-size、不同优化时势和不同数据集,它的最合刚巧都是不细主义。咱们惟一不错做的,即是在磨砺中束缚寻找最合合适前情状的学习率; 权重开动化。比较于其他的 trick 来说使用并不是很每每。只消那些莫得预磨砺模子的领域会我方开动化权重,或者在模子中去开动化神经收集终末那几个全联结层的权重。常用权重开动化算法是「kaiming_normal」或「xavier_normal」; 数据集处理,主要绝顶据筛选和数据增强; 多模子会通,这是论文刷戒指的终极核火器,深度学习中一般有几种时势,比如相同的参数,不同的开动化时势;不同的参数,通过交叉考据录取最好的几组;不同的模子,进行线性会通,举例 RNN 和传统模子; 余弦退火和热重启的立时梯度下跌。余弦退火即是学习率雷同余弦函数冉冉下跌,热重启即是在学习的流程中,学习率冉冉下跌然后片刻再回弹 (重启) 然后不竭冉冉下跌; 尝试过拟合一个一丝据集。关闭正则化 / 立时失活 / 数据施行,使用磨砺集的一小部分,让神经收集磨砺几个周期。确保不错实现零亏损,如若莫得,那么很可能什么处所出错了。 ……

调参路上各有各的「路数」,顺应我方就好。

终末问一句,炼丹的你有哪些独门诡秘呢?

参考聚会:

https://www.jiqizhixin.com/articles/2020-10-21-3 https://picture.iczhiku.com/weixin/message1609136710592.html

【本文是51CTO专栏机构“机器之心”的原创译文,微信公众号“机器之心( id: almosthuman2014)”】  

戳这里,看该作家更多好文 

 



    热点资讯

    相关资讯