🛠머신러닝 (19) 썸네일형 리스트형 선형 회귀 모델의 설명력과 통계적 유의성을 판단하는 기준 1. 선형 회귀 모델의 설명력 1-1. R^2 선형 회귀 모델의 설명력은 R^2으로 평가하며, R^2은 다음과 같이 나타낼 수 있다. R^2 = 1 - (SSR / SST) = (SSE / SST) R^2은 종속변수(y)의 전체 분산(variation)중에서, 모형에 의해 설명되는 정도를 의미하며, 0~1 사이의 값을 가진다. R^2가 1에 가까운 값이 될수록 해당 선형 회귀 모델의 설명력이 좋다는 의미이다.(모델이 데이터의 변동을 잘 설명하고 있다는 것을 의미함) 1) SST (Total Sum of Squares) - 샘플 데이터에 존재하는 종속변수(y)의 전체 흩어진 정도 - 전체 데이터의 변동성 - 모든 데이터 포인트가 데이터의 평균에서 얼마나 멀리 떨어져 있는가 - (모델없이) y가 얼마나 퍼져.. 선형회귀(Linear Regression) 밑바닥부터 이해하기 0. 선형회귀 '파라미터'와 '종속변수'가 선형 관계인 모형을 선형회귀(Linear Regression) 모형이라고 한다. * 파라미터의 의미 예시) population model : 연봉 = b0 + b1교육정도 + u E(연봉|교육정도) = b0 + b1교육정도 (교육정도에 따른 연봉의 평균값) 이때, b0 = 1, b1 = 0.5, 교육정도 = 10이라고 가정 E(연봉|교육정도) = 1 + 0.5*10 = 6 해석) 교육정도가 10인 사람들의 평균연봉이 6이다. (즉, 교육정도가 10인 사람들은 평균적으로 6을 번다.) (주의, 교육정도가 10인 모든 사람들의 연봉이 6이라는 의미가 아님) * 다음 중, 선형회귀 모형이 아닌 것은? 1. y = b0 + b1X1 + b2X2 2. y = b0 + b.. Regularization(정규화/규제화) 기법 - Ridge(L2 norm) / LASSO(L1 norm) 00. What is a good model? '좋은 모델'이란 다음과 같은 조건을 만족시켜야 한다. 1) 학습 성능이 좋은 모델 - 즉, 현재 데이터(train set)를 잘 설명하는 모델 - train set에 대한 에러가 적은 모델 - training error를 최소화하는 모델 2) 일반화 성능이 좋은 모델 - 미래 데이터(test set)에 대한 예측 성능이 좋은 모델 - 학습에 사용되지 않은 새로운 데이터(test data)에 대한 예측 성능이 좋은 모델 여기서 둘 중 하나만 만족시킨다고 좋은 모델은 아니고, 1번과 2번을 적절하게 잘 만족시켜야 좋은 모델이라고 할 수 있다. 01. Bias와 Variance Expected MSE : 실제 y값과 모델이 예측한 y값의 차이의 제곱에 대한 기댓.. [통계] Feature selection - 변수 선택방법 (전진 단계적 선택 / 후진 단계적 선택 / 하이브리드 방식) 00. 관측치의 수(n)과 변수의 수(p) 1) n의 수와 p의 수가 비슷한 경우 - 최소제곱적합에 많은 변동이 존재할 수 있어, 과적합 발생, 일반화 성능 떨어질 수 있음 2) n > p - 최소제곱 추정치들은 낮은 분산을 가지는 경향이 있고, 따라서 검정 관측치에 대해서도 좋은 성능을 낼 것임 3) n < p - 더 이상 유일한(unique) 최소 제곱 계수 추정치가 존재하지 않는다. 즉, 분산이 무한대가 되어 최소제곱 방법을 전혀 사용할 수 없게 됨 01. 설명변수와 목적변수 설명변수(X) 목적변수(y) - 독립 변수(Independent variable) - 예측 변수(Predictor variable) - 원인 변수 - 조작 변수(mulipulated variable) - 통제 변수(contro.. mac lightgbm 설치 오류 해결 머신러닝 알고리즘 중 하나인 lightgbm라이브러리의 설치 오류와 해결방법에 대해 기록하고자한다. 분류 알고리즘들을 한번에 import하면서 별 생각없이 lightgbm도 같이 import 했는데, 에러가 뜬다..! import lightgbm as lgb 구글링해보니 맥북에서 lightgbm설치 오류 문제는 종종있는듯 보였다. 오류 해결하기위해서 일단 터미널을 열어주고, 일단 구글링에서 가장 많이 사용된 방법을 따라해봤는데⬇️ brew update brew upgrade brew install gcc@8 git clone --recursive https://github.com/Microsoft/LightGBM cd LightGBM export CXX=g++-8 CC=gcc-8 mkdir build c.. 이전 1 2 3 4 다음
