신경망의 활성화 함수: ReLU와 Softmax신경망에서 활성화 함수는 각 노드의 출력을 결정하는 중요한 역할을 합니다.이번 포스트에서는 hidden layer의 활성화 함수로 **ReLU (Rectified Linear Unit)**를,output layer의 활성화 함수로 softmax를 사용하는 경우에 대해 정리해보겠습니다.ReLU (Rectified Linear Unit)정의: ReLU는 입력 값이 양수일 경우 그대로 출력하고, 음수일 경우 0을 출력하는 함수입니다.수식:f(x)=max(0,x)특징: 계산이 간단하고, 음수 값을 0으로 만들어서 신경망의 비선형성을 유지하면서도 학습 속도를 빠르게 합니다. 이는 gradient vanishing 문제를 완화하는 데 도움이 됩니다.Softmax정의: ..
