J's Study log

선형모델과 비선형모델의 구분 선형 모델 vs 비선형 모델 선형 모델과 비선형 모델의 구분이 헷갈려 추가로 작성해놓았다. 우선, 아래 그림에서 왼쪽이 선형모델일까? 오른쪽이 선형모델일까? 정답: 둘 다 선형모델로 표현이 가능하고, 선형모델이 될수있다. 선형모델의 정의부터 알아보자. 1. 선형모델이란? 선형모델이란 "머신러닝 공식에서 계수들이 선형결합의 관계에 있을 때의 모델"을 말한다. 선형결합이란 "두개의 벡터의 합"을 의미한다. 또한, 선형모델은 언제나 직선모양으로 그려지지 않는다. 위에서 언급한대로 가중치들이 선형결합을 하고 있으며, 선형모델이 되기 때문에 곡선인 그래프가 그려질수도 있다. 즉,'가중치가 어떻게 결합되어 있는지에 따라서 선형이 되고 안되고 결정된다'라고 정의 할 수 있습니다. 2. 비..

Least Square 먼저 이번 글을 통해 Least Square 방식에 대해서 알아보자! 우선 우리가 Least Square를 수행하는 목적은 아래 가설함수(Hypothesis)의 Cost function을 최소화 하는 것이다.(이전 글 참고) Cost 함수 J의 실제 그래프가 아래와 같다 가정을 해보자. 우리는 Least Square을 사용해서 아래 사진과 같이 Cost Function이 가장 낮게 나오는 (𝜃1,𝜃2) 값을 찾아볼 것이다. 최소제곱법에서는 이 Cost 함수를 최소화하는 𝜃1와 𝜃2를 찾기 위해 미분을 사용한다. 아래와 같이 미분을 통해 Cost 함수의 기울기가 0이 되는 지점, 즉 최소값을 갖는 지점을 찾을 수 있다. 그리고 이 값들이 바로 최적의 𝜃1와 𝜃2, 즉 우리가 찾고자 ..

Linear Regression Linear Regression은 말 그대로 선형모델(ex. y = ax + b)에서 x와 y에 대한 관계를 분석하는 것을 말한다. 관계를 분석한다는 얘기는 곧 a와 b의 값을 찾는다는 것인데, 어떻게 이를 수행할까? 이를 바로 우리가 알고있는 x와 y에 대한 데이터를 통해서 수행하는 것이다. 그리고 이 작업을 Model Fitting이라고 한다. 위 사진을 보면 데이터가 Traning data(기호:x)로 주어졌으며, 이 데이터를 통해 최적화(model fitting)된 a와 b의 값을 통해 선형으로 예측된 Current hypothesis가 그려져있다. Model 앞서 우리는 Supervised Learning의 한 유형인 Regression에 대해 알아보았습니다. 이..

빅데이터 IT기술과 통신의 발전으로 빅데이터는 어디에든 존재한다. 중요한 점은, 데이터는 무작위적이지 않고, 구조를 갖고있다는 점이다. 우리는 아래 두가지 목적을 위해 데이터에서 '구조'를 알아내야한다. 목적 1. Understanding the process 2. Making Predictions for the future 분석 데이터의 예시 그렇다면 머신러닝(ML)은 무엇일까? 학계의 저명한 석학인 Tom Mitchell은 머신러닝을 다음과 같이 정의했다. Machine Learning(ML) is the study of computer algorithms that improve automatically through experience - Tom Mitchell 더 설명하자면, Machine Lea..