关于logloss的无穷大问题

[ttkerasoyeah]

首先很感谢作者的技术分享，但对您所设计的损失函数不能很好的理解，且对您的灵感源泉来自与logloss下无穷大问题这个链接也不能打开了，对于这个问题的修复不知道是否可以请您麻烦解释一下。谢谢

[ypwhs]

如果你预测的概率是0，label是1，那么你的loss就是 -log0，这是一个无穷大的数字，kaggle为了避免这种现象，把预测的概率限制到了 1e-15，所以 loss=-ln(1e-15)=34。

这个loss仍然是很大的，我们为了避免损失过大，可以限制得更多一点，比如0.005，loss=-ln(0.005)=5，这样错误的样本损失会减小7倍，而正确样本的损失是 -ln(1-0.005)~=0.005 和 -ln(1-1e-15)~=1e-15，对 loss 影响不大，可以忽略不计。因此最终损失会减小很多，但是准确率不会变。

[ttkerasoyeah]

杨师兄谢谢你的热忱回复，不知道我是否可以有幸加你的WeChat，想跟你一起讨论我研究CNN中的所见所闻。万分感谢🙏 2020年6月11日(木) 0:32 杨培文 (Yang Peiwen) <notifications@github.com>:

…

如果你预测的概率是0，label是1，那么你的loss就是 -log0，这是一个无穷大的数字，kaggle为了避免这种现象，把预测的概率限制到了 1e-15，所以 loss=-ln(1e-15)=34。 这个loss仍然是很大的，我们为了避免损失过大，可以限制得更多一点，比如0.005，loss=-ln(0.005)=5，这样错误的样本损失会减小7倍，而正确样本的损失是 -ln(1-0.005)=0.005 和 -ln(1-1e-15)=1e-15，对 loss 影响不大，可以忽略不计。因此最终损失会减小很多，但是准确率不会变。 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub <#26 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AJNHPB6XVQZX3AZIP6SW3WLRV6RP7ANCNFSM4NGSM7CQ> .

[ttkerasoyeah]

我的wechat号vozzy2013，如果荣幸可以的话，想加下你好友^ ^ 2020年6月11日(木) 0:36 QN R <ruigangge@gmail.com>:

…

杨师兄谢谢你的热忱回复，不知道我是否可以有幸加你的WeChat，想跟你一起讨论我研究CNN中的所见所闻。万分感谢🙏 2020年6月11日(木) 0:32 杨培文 (Yang Peiwen) ***@***.***>: > 如果你预测的概率是0，label是1，那么你的loss就是 -log0，这是一个无穷大的数字，kaggle为了避免这种现象，把预测的概率限制到了 > 1e-15，所以 loss=-ln(1e-15)=34。 > > 这个loss仍然是很大的，我们为了避免损失过大，可以限制得更多一点，比如0.005，loss=-ln(0.005)=5，这样错误的样本损失会减小7倍，而正确样本的损失是 > -ln(1-0.005)=0.005 和 -ln(1-1e-15)=1e-15，对 loss > 影响不大，可以忽略不计。因此最终损失会减小很多，但是准确率不会变。 > > — > You are receiving this because you authored the thread. > Reply to this email directly, view it on GitHub > <#26 (comment)>, > or unsubscribe > <https://github.com/notifications/unsubscribe-auth/AJNHPB6XVQZX3AZIP6SW3WLRV6RP7ANCNFSM4NGSM7CQ> > . >