J's Study log

선형모델과 비선형모델의 구분 선형 모델 vs 비선형 모델 선형 모델과 비선형 모델의 구분이 헷갈려 추가로 작성해놓았다. 우선, 아래 그림에서 왼쪽이 선형모델일까? 오른쪽이 선형모델일까? 정답: 둘 다 선형모델로 표현이 가능하고, 선형모델이 될수있다. 선형모델의 정의부터 알아보자. 1. 선형모델이란? 선형모델이란 "머신러닝 공식에서 계수들이 선형결합의 관계에 있을 때의 모델"을 말한다. 선형결합이란 "두개의 벡터의 합"을 의미한다. 또한, 선형모델은 언제나 직선모양으로 그려지지 않는다. 위에서 언급한대로 가중치들이 선형결합을 하고 있으며, 선형모델이 되기 때문에 곡선인 그래프가 그려질수도 있다. 즉,'가중치가 어떻게 결합되어 있는지에 따라서 선형이 되고 안되고 결정된다'라고 정의 할 수 있습니다. 2. 비..

Least Square 먼저 이번 글을 통해 Least Square 방식에 대해서 알아보자! 우선 우리가 Least Square를 수행하는 목적은 아래 가설함수(Hypothesis)의 Cost function을 최소화 하는 것이다.(이전 글 참고) Cost 함수 J의 실제 그래프가 아래와 같다 가정을 해보자. 우리는 Least Square을 사용해서 아래 사진과 같이 Cost Function이 가장 낮게 나오는 (𝜃1,𝜃2) 값을 찾아볼 것이다. 최소제곱법에서는 이 Cost 함수를 최소화하는 𝜃1와 𝜃2를 찾기 위해 미분을 사용한다. 아래와 같이 미분을 통해 Cost 함수의 기울기가 0이 되는 지점, 즉 최소값을 갖는 지점을 찾을 수 있다. 그리고 이 값들이 바로 최적의 𝜃1와 𝜃2, 즉 우리가 찾고자 ..