2주차 회고

2024-08-12 (월)

• 모델평가지표 (MAE, MSE)

MAE: 실제값 - 예측값의 절대값을 평균내는 것

MSE: 실제값 - 예측값의 제곱을 평균내는 것

 

• NN Classifier

데이터를 분류하기 위해 가장 가까운 k개의 데이터 중 다수결에 따라 레이블이 결정됨

하지만 time complexity가 커서 현업에서는 잘 쓰이지 않음

 

• 차원 저주

고차원 데이터의 경우(이미지는 3차원임) 필요한 데이터(예제) 수가 기하급수적으로 증가함

 

회고

---

논문 리뷰를 위해서 제대로 논문을 읽어본 건 처음이었다. ResNet 논문을 읽었는데 왜 이 분야에서 공부를 할 때 논문을 읽으라고 하는지 알 것 같다. 공부가 되는 게 정말 신기하다. 컴퓨터 다른 분야는 논문 읽으면 이게머지?머지가머지? 이러고 있는데

ㅋㅋ

 

2024-08-13 (화)

• MLP에서 Linear Layer는 몇 개를 쌓아도 계속 linear함. 이것을 non-linear하게 만들기 위해 activation function을 곱함.
• activation function: sigmoid, tanh, ReLU
• backpropagation: loss 를 계산해서 input단까지 가져오는 것, 각 단계에서 input이 들어올 때 loss가 얼마나 변하는지 편미분을 통해 확인함. 체인룰 사용
• sigmoid: vanishing gradient problem 발생
  • input이 크거나 작을 때 기울기가 0에 가까워짐.
  • Upstrea Gradient가 0이면 Downstream Gradient도 0임 -> 기울기가 사라짐 -> training이 안 됨!!!!!
  • 출력값이 zero-centered 하지 않음 -> 모든 gradient의 부호가 같음 -> gradient가 특정 방향으로만 업데이트 됨

시그모이드와 미분 그래프

• tanh: vanishing gradient problem 발생
  • non zero-centered

tanh와 미분 그래프

• ReLU는 vanishing gradient problem이 없음
  • x가 0보다 클 때 항상 기울기를 갖도록 함
  • x가 0일 때는 미분 불가능(backprop하려면 모든 x에 대해서 미분 가능해야 함)
  • non zero-centered
  • Dead ReLU problem(출력이 음수면 saturated 됨, 값을 0으로 없애버림)

 

회고

---

Initializer부터 모르겠다!!!!!!!!!!!!!!!!!!!!! 어카지

 

 

2024-08-14 (수)

• zero centered 되어야 하는 이유
  • 데이터들이 zero centered되어야 weight의 작은 변화에도 덜 민감해짐

 

회고

---

저번주에 비해 강의 내용이 갑자기 어려워진 것 같다. 계속 설명이 조금씩 부족한 것 같아서 지피티한테 1:1로 질문하고 있다. 실습, 과제 코드도 흠... 내가 부족한 거겠지

!~

 

2024-08-16 (금)

• RNN
• LSTM
• seq2seq
• Encoder, Decoder
• Attention

 

회고

---

과제는 이번주 2시까지고 영상은 다음주 월요일까지라 강의를 다 못 들었는데 과제를 제출해야 했다. 급한대로 피피티만 빠르게 보고 검색하면서 과제를 제출했다. 이번 주차는 초반에 backprop에서 직접 손으로 미분해보며 이해하는 것에 시간을 너무 많이 쓴 것 같다. 저번주는 목요일에 다 끝내고 금토일 놀았는데.. 이번주는 주말까지 공부해야할 것 같다. 갑자기 많은 걸 이해하려니까 힘들긴하겠지만 transformer, attention 파트는 인공지능을 처음 공부하는 내가 봐도 중요해 보인다; 이건무조건이해하고넘어가야될것같은느낌