[혼공학습단 13기 혼공머신🤖] 혼자 공부하는 머신러닝 + 딥러닝 week2

📜기본 숙제 : Ch.03(03-1) 2번 문제 출력 그래프 인증하기

 

 

📜 추가 숙제 : 모델 파라미터에 대해 설명하기

머신러닝 모델이 특성에서 학습한 파리미터

 

---

🔖  Chap03. 회귀 알고리즘과 모델 규제

3.1 K-최근접 회귀 알고리즘

- 회귀 : 임의의 수치를 예측

- K-최근접 이웃 회귀

• 예측하려는 샘플에 가까운 샘플 K개를 선택
• 선택된 샘플들의 평균으로 예측값 반환

- 데이터 준비

- 결정계수(R²)

R² = (타깃-예측)²의 합 / (타깃-평균)²의 합

- 과대적합 vs 과소적합

• 과대적합 : 훈련세트에만 잘 맞는 모델
• 과소적합 : 훈련세트보다 테스트 세트의 점수보다 높거나 두 점수가 낮은 경우

 

 

3.2 선형 회귀

- K-최근접 이웃의 한계

새로운 샘플이 훈련 세트의 범위를 벗어나면 엉뚱한 값을 예측할 수 있다.

- 선형 회귀

• 특성이 하나인 경우 어떤 직선을 학습하는 알고리즘

- 다항 회귀

• 다항식을 사용한 선형 회귀

 

 

3.3 특성 공학과 규제

- 다중 회귀 

• 여러 개의 특성을 사용한 선형 회귀

- 특성 공학

• 기존의 특성을 사용하여 새로운 특성을 뽑아내는 작업

- 다중 회귀 모델 훈련하기

- 릿지 회귀

• 규제가 있는 선형 모델 중 하나
• 선형 모델의 계수를 작게 만들어 과대적합을 완화
• 효과가 좋아 널리 사용되는 편

- 라쏘 회귀

• 규제가 있는 선형 회귀 모델
• 계수 값을  0으로 만들 수 있다.

- 하이퍼파라미터

• 머신러닝 알고리즘이 학습하지 않는 파라미터
• 사람이 사전에 지정해야 한다. 

 

💭 느낀 점

직접 그래프를 그려보며 다양한 회귀 모델을 공부할 수 있어 좋았습니다.