[Deep Learning] 기초 개념 정리

Weight Initialization가중치를 어떻게 초기화하냐도 중요한 문제인데, 0으로 초기화하는 경우, 모델이 동일한 특징(symmetry feature)에 집중할 수 있어, 0으로 일괄적으로 초기화하는 것은 좋지않다. 따라서, 특정 initialization 방법을 사용하는게 좋다. Xavier initialization은 가중치 초기화시 in_features와 out_features를 모두 고려한 방식이며, He initialization은 in_features만을 고려한 방식이다. nn.Linear : pytorch에서는 in_features 수를 활용한 uniform distribution 활용 (bias도 똑같이 함)nn.Conv2d : ​He initialization에서는 in_feat..