Optimizer 정리

Sebastian Ruder, An overview of gradient descent optimization algorithms Gradient descent Gradient descent는 파라미터 $\theta \in \mathbb{R}^d$를 가지는 모델의 objective function $J(\theta)$을 최소화하는 알고리즘으로, objective function의 gradient $\nabla_\theta J(\theta)$의 반대 방향으로 파라미터를 업데이트 한다. Learning rate $\eta$는 최솟값에 도달하기 위해 얼마의 step으로 이동해야 하는지를 결정한다. we fol... Read more 24 Sep 2022 - 6 minute read

Pytorch Lightning 사용법

https://pytorch-lightning.readthedocs.io/en/stable/ 설치 pip를 이용하여 설치하는 방법 pip install pytorch-lightning conda를 이용하여 설치하는 방법 conda install pytorch-lightning -c conda-forgeA Import import pytorch_lightning as pl Model 정의 import pytorch_lightning as pl import torch import torch.nn as nn import torch.nn.functional as F class Model(pl.Lig... Read more 28 Aug 2022 - 4 minute read