Learning Rate Annealing

"어닐링(annealing)"이라는 용어는 학습 과정 중 학습률을 점진적으로 감소시키는 기술을 의미

물리학에서 고온에서 금속을 서서히 식혀 재료의 구조를 안정시키는 "어닐링" 과정에서 유래

기계 학습에서는 최적화를 안정화하고, 학습이 진행됨에 따라 더 나은 수렴을 도모하기 위해 학습률을 조정