본문 바로가기

cost function7

머신러닝 실습 with Tensorflow 3장 - Logistic regression - 머신러닝 실습 with Tensorflow 3장- Logistic regression - Logistic regression은 Linear regression과 다르게 결과를 0과 1로 나타낸다. 이 때 사용하는 함수는 sigmoid 함수이다. 가설의 형태가 sigmoid 함수로 나타나게 되는데 들어가는 x의 값에 weight이 곱해지는 형태가 된다. cost function의 경우 log를 이용하여 Linear regression과는 다르게 정의를 하게 된다. 하지만 이 cost function 역시 Gradient descent algorithm을 사용하여 최소화를 시킨다. 우리의 아래와 같은 식을 알고 있기 때문에 이를 그대로 tensorflow에 작성만 하면 logistic regression에 .. 2017. 6. 6.
머신러닝 실습 with Tensorflow 1장 - linear regression - 머신러닝 실습 with Tensorflow 1장- linear regression - 머신러닝에 대한 이론적인 부분은 이미 공부한 후 이에 대한 부분을 실습하여 실제로 실행시켜보는 것에 중점으로 학습할 것이다. 이에 대한 도구로 tensorflow라는 tool을 사용할 것이다. 또한 python의 언어를 바탕으로 제작된다. tensorflow는 머신러닝을 위한 다양한 함수를 내포하고 있어 보다 편하게 머신러닝을 구현할 수 있게 구성되어 있다. tensorflow는 3가지의 과정으로 구성된다. Tensorflow의 도구를 이용해 그래프를 만드는 과정, sees.run 함수를 통해 데이터를 넣어주거나 그래프를 가동시키는 과정, 마지막으로 결과 값을 내보내거나 그래프의 변수를 업데이트 시키는 과정이다. Lin.. 2017. 6. 3.
머신러닝(Machine Learning) 9장 - Learning rate, data preprocessing, overfitting - 머신러닝(Machine Learning) 9장- Learning rate, data preprocessing, overfitting - Linear regression이나 logistic regression의 방법을 사용할 때 cost function을 최소화시키기 위해서 우리는 Gradient descent algorithm을 사용했다. Gradient descent는 기울기의 크기가 줄어드는 쪽으로 가는 것이 cost function이 최소가 되는 지점을 찾아간다는 생각에서 나온 알고리즘이다. Gradient descent algorithm을 사용할 때 cost 값의 미분한 값 앞에 알파라는 값이 오게 되는데 이 값이 Learning rate이다. Learning rate은 어느 정도의 크기로 기울기.. 2017. 5. 29.
머신러닝(Machine Learning) 8장 - Softmax regression의 cost함수 - 머신러닝(Machine Learning) 8장- Softmax regression의 cost함수 - 우리는 앞장에서 여래 개의 결과 값을 가질 수 있는 형태의 regression에 대해 살펴보았다. 각각의 데이터에 대해서 binary 형태의 선형 구분을 해주어 이에 따라 각각에 대한 알고리즘을 실행시켜 해당하는지 아닌지를 예측하게 되었다. 이를 위해 행렬의 형태를 사용하게 간단하게 표현을 할 수 있었다. 우리는 또한 결과 값이 sigmoid function을 통해 0과 1사이의 값을 가지게 만들고 싶었다. 그래서 각각의 알고리즘을 돌린 결과에 대해 p라는 확률적인 값을 가지게 만들고 싶다. 이런 방법을 해주는 것이 바로 Softmax라는 기법이다. 특정 데이터 결과 값들에 Softmax라는 함수를 넣어주.. 2017. 5. 25.
머신러닝(Machin Learning) 6장 - Logistic Regression 의 cost function - 머신러닝(Machin Learning) 6장- Logistic Regression 의 cost function - Cost function은 예측을 하는 값과 실제 결과 값의 차이를 나타내는 함수이다. 예측을 하는 데이터를 바꾸어가면서 실제 결과 값과 차이를 그래프로 나타낼 수 있다. 제일 적절한 예측을 하는 가설은 바로 cost function이 최소가 되는 가설일 것이다. Linear Regression을 사용할 때는 다음과 같은 cost function을 사용하였다. 앞의 cost function을 이용하여 Logistic Regression에 해당하는 그래프를 그리게 되면 볼록한 형태가 아니라 울퉁불퉁한 형태가 나와서 Gradient descent algorithm을 통해 최솟값을 구할 수 없게 .. 2017. 5. 24.
머신러닝(Machine Learning) 3장 - Linear Regression의 cost 최소화 알고리즘 - 머신러닝(Machine Learning) 3장- Linear Regression의 cost 최소화 알고리즘 - Regression은 우선 Supervised Learning의 종류로 연속적인 데이터로 결과 값을 도출하는 머신러닝의 기법이다. 그 중 Linear Regression은 선형적인 예측을 하는 방법인데 H(x) = Wx + b 와 같은 형태로 예측의 가설을 만들 수 있었다. 가설을 바탕으로 실제 결과 값과 차이를 비교하여 cost function의 값을 만들었다. 그리고 예측을 최적화하는 방법은 바로 cost function의 값을 최소화로 만드는 작업이 될 것이다. 쉽게 이해하기 위해 b라는 값을 0이라고 생각하고 가설을 H(x) = Wx 라는 형태로 먼저 살펴볼 것이다. 그러면 cost fu.. 2017. 5. 23.
머신러닝(Machine Learning) 2장 - Linear Regression의 Hypothesis와 cost - 머신러닝(Machine Learning) 2장- Linear Regression의 Hypothesis와 cost - 1장에서 예시로 사용한 투자한 시간에 대비하는 성적에 대한 예측을 하는 머신러닝을 통해 regression에 대해 다시 생각해보자. training data set는 투자한 시간과 이에 대한 결과 값인 점수가 연속적인 숫자로 나타나게 된다. Regression의 기법을 통해 학습이 되고 난 후에 특정 시간을 입력하게 되면 이에 따른 결과 값을 내보내 준다. 예를 들면 7시간을 넣을 경우 65점 정도의 값을 나타나게 해주는 것이다. Regression을 적용시키기 위해 간단한 데이터를 적용시켜보자. 입력 값인 x에 1, 2, 3을 주어주고 이에 해당하는 결과 값인 y값으로 1, 2, 3을 각.. 2017. 5. 22.