Least Square / Ridge Regression, RMSE

Least Square Regression

 

X의 first column에 1 추가

 

 

X에 대한 prediction은 다음과 같다.(solution)

 

 

위의 식에서 w*를 구하면 test set에 대해서도 prediction을 구할 수 있다.

 

% Least Square Regression %
wL = (XX'*XX)^-1*XX'*y_train
YLresult = Xg*wL;

 

Ridge Square Regression

least square prediction에서 w의 크기를 제한하기 위한 term이 추가되었다.

 

solution:

 

RMSE

Root-Mean-Square Error