226페이지 내용 관련 의문

[totuta]

위에서 6~8 번째 줄:

등식이 성립하지 않기 때문에 * 값을 아무리 여러 개 모아서 평균내도 그 값은 * 에 다가가지 않습니다. 믿기지 않는다면 실제로 뒤에 나올 구현 코드에서 log를 빼고 학습을 돌려보세요. 아마 학습이 잘 되지 않을 것입니다.

--> 등식이 성립하지 않아서라기 보다는, log 를 씌우지 않으면 underflow 문제 때문에 계산 정밀도가 부족해지기 때문이 아닌지요? 구체적으로는 1) 정밀도 부족으로 인한 오차, 2) 기울기 부족으로 인한 학습속도 저하. 등식은 성립하지 않겠지만 어차피 log 는 monotonic 함수이므로 계산 정밀도만 충분하다면, 결국은 학습에 성공할 것입니다.