본문 바로가기

반응형

🛠머신러닝

(19)
[머신러닝] 캐글 자전거 대여 수요 예측 & 데이터 다운 [〚머신러닝〛] - [머신러닝] 회귀(regression)-1 : 최소제곱법, 비용함수(Cost function), 경사하강법(Gradient Descent), MSE(Mean Sqared Error), R-squre(결졍계수) [머신러닝] 회귀(regression)-1 : 최소제곱법, 비용함수(Cost function), 경사하강법(Gradient Descent), MSE(Mean 1. 회귀(regression)란? 회귀(regression)는 여러 개의 x와 한 개의 y사이의 관계를 하나의 수식으로 나타내는 기법이다. 예를 들어, '집의 가격'은 지역, 역세권, 학군, 집의 크기 등의 여러 가지 요소로 bigdaheta.tistory.com 지금까지 공부한 머신러닝 '회귀'를 바탕으로, 캐글의 자전거..
[머신러닝] 회귀(regression)-1 : 최소제곱법, 비용함수(Cost function), 경사하강법(Gradient Descent), MSE(Mean Sqared Error), R-squre(결졍계수) 1. 회귀(regression)란? 회귀(regression)는 여러 개의 x와 한 개의 y사이의 관계를 하나의 수식으로 나타내는 기법이다. 예를 들어, '집의 가격'은 지역, 역세권, 학군, 집의 크기 등의 여러 가지 요소로의해 결정될 수 있다. 이때 집의 가격은 y, 그 집의 가격에 영향을 줄 수 있는 여러 가지 요소들은 x로 설정하고 각 x요소들에 따라 집값이 어떻게 변하는지를 하나의 수식으로 나타내는 것을 '모델링'이라고 한다. 이처럼 x와 y를 하나의 식으로 나타내면 이 수식을 활용하여 여러 가지 문제들을 해결할 수 있게 된다. 예를 들어, x에 1이 들어왔을 때 y로 3이 출력되고, 2가 들어왔을 때 5가, 3이 들어왔을 때 7이 출력되는 하나의 함수가 있을 때, 이를 f(x) = 2x + 1..
[머신러닝] 회귀(regression)-2 : 과적합(overfitting), 과소적합(underfitting), 편향 - 분산 트레이트 오프(Bias-Variance Trade off), 가중치 규제(Weight regularization) 1. 과적합(overfitting) 과적합(overfitting)이란, 모델이 학습 데이터에만 너무 잘 맞아서 새로운 데이터에 대한 예측력(일반화)이 떨어지는 것이다. 즉, 학습 데이터를 너무 과하게 학습해서 학습 데이터는 정확하게 맞추지만 실제 데이터에 대해서는 오차가 증가해서 모델을 실제로 사용하기 어려워진 것이다. 과적합은 모델의 파라미터수가 많거나 학습용(train) 데이터 세트의 양이 부족한 경우 발생한다. 특히 다항 회귀에서는 다항식의 차수가 높아질수록 매우 복잡한 피처 간의 관계까지 모델링이 가능해진다. 하지만 다항 회귀의 차수를 높일수록 과적합의 문제가 발생한다. 2. 과소적합(underfitting) 과소 적합(underfitting)은 모델이 너무 단순하여 데이터의 내재된 구조를 학습하..
머신러닝 데이터 전처리 과정 데이터 분석을 하기 위해 데이터를 가져왔을 때 가장 먼저 확인해야 하는 것들을 정리해보고자 한다. 01. 데이터 구조 확인 가장 먼저 내가 분석할 데이터가 어떤 구조, 형태로 이루어진 데이터인가?를 확인해야 한다. 데이터 구조는 간단히 보자면 크게 2가지로 나눌 수 있다.(더 세부적으로 나눌 수도 있지만 우선은 크게 보자면!) -정형 데이터 : '표'형태의 데이터 -비정형 데이터 : 이미지, 소리, 영상, 신호 등 02. 판다스 사용 : import pandas 우선 표 형태의 정형 데이터를 가져왔을 때 확인해야 할 기본적인 사항들에 대해 정리해보자. 파이썬에서는 정형 데이터를 처리할 때 pandas라는 라이브러리를 사용한다. 따라서 이 라이브러리를 사용하기 위해서는 import pandas 로 판다스를..

반응형