domybestinlife

Introduction (도입) 보통 우리가 실험을 하거나 입력을 넣고 결과가 나오는 현상에 대해서 이해를 하기 위해서 입력과 결과 사이의 관계를 파악하고 그리고 관계를 이용하여 공식을 도출하고 싶어 합니다. 너무나도 잘 알려진 공식 F=ma 또한 그렇게 나온 것이니... 이때 입력과 결과 사이에 관계를 표현하는 요소를 보통 Black Box 또는 Black box function이라고 표현합니다. 그리고 Black Box의 특징은 다음과 같습니다. closed form으로 표현되지 않으며 Non-Linear 또는 Non-Convex 하여 수렴이 잘 되지 않는다. 또한 상당히 Complex, Noisy 하다. 마지막으로 데이터를 한번 얻기 위해 또는 evaluate를 하기 위해서 수많은 비용과 시간이 드..

프로그래밍 ( Programming )/머신러닝 ( ML ) 2021. 12. 10. 07:12

Logistic Regression (로지스틱 회귀) 로지스틱 회귀 이전에 존재하던 퍼셉트론은 간단하고 좋은 모델이지만 가장 큰 단점은 클래스가 선형적으로 구분되지 않을 때 수렴이 불가능하다는 점입니다. 에포크마다 적어도 하나의 샘플이 잘못 분류되기 때문에 가중치 업데이트가 끝도 없이 계속될수가 있습니다. 물론 학습률을 바꾸거나 에포크 횟수를 늘릴 수는 있지만 한계는 분명 명확하게 존재합니다. 로지스틱 회귀는 이름은 회귀 (Regression)이지만 실제로는 분류 (Classification) 모델입니다. 로지스틱 회귀는 구현이 매우 쉽고 선형적으로 구분되는 클래스에 뛰어난 성능을 내는 분류 모델입니다. 산업계에서 가장 널리 사용되는 분류 알고리즘 중 하나로써 어떤 범주에 속할 확률을 0~1 사이의 값으..

프로그래밍 ( Programming )/머신러닝 ( ML ) 2021. 12. 2. 08:04

머신러닝을 수행하기 위해서 목표로 하고자 하는 영역에서 주어진 데이터에 어떠한 경향이 있는지를 파악하도록 하는 학습과정이 필요로 합니다. Data를 통해서 좋은 네트워크를 만들수 있으며 그리고 데이터를 이용하여 좋은 네트워크인지를 판단할 수가 있습니다. Cross validation에 대해서 적어보기 이전에 우선 머신러닝에서 다루는 data의 개념들을 먼저 살펴보겠습니다. 주어진 data가 있을때 우리는 주어진 데이터를 이용하여 목적에 맞는 모델을 만들어야 합니다. 모델을 만들기 위해서는 위에서 언급드렸다시피 학습과정이 필요한데, 주어진 data를 학습 데이터 (Training Set)로 활용할 수 있습니다. 하단과 같이 data 전체를 학습 데이터로 활용이 가능합니다. 그러나 문제점은 머신러닝 모델은 ..

프로그래밍 ( Programming )/머신러닝 ( ML ) 2021. 11. 22. 21:38

선형 회귀의 문제는 답 또는 성질이 정해져 있는 데이터들을 바탕으로 실제의 값을 예측하는 문제입니다. 쉬운 예제로는 어떠한 지역에서의 땅 크기(Size) 및 집 값(Price)의 데이터가 주어졌을 때 이 데이터를 바탕으로 1350의 땅 크기는 집값이 얼마인지를 예측하는 문제가 되겠습니다. 이러한 선형 회귀의 문제는 전 포스트에서 언급한 Supervised Learning (지도 학습)의 한 영역입니다. 예측을 하기 위해서는 학습을 해야합니다. 학습을 위해서는 우선 학습 데이터 (Training Data)가 필요합니다. 위의 예제에서의 학습 데이터는 바로 하단과 같이 땅 크기와 집값이 1:1로 대응되어 나열된 데이터(표)가 되겠습니다. 여기서 X와 Y가 있는데 X는 입력 변수를 의미하며 Y는 출력 변수를 ..

프로그래밍 ( Programming )/머신러닝 ( ML ) 2021. 11. 22. 21:38

신경망은 아주 오래된 연구분야입니다. 오늘날 가장 광범위하게 쓰이고 있는 신경망의 정의입니다 ' 신경망이란, 적응성이 있는 단순 단위로 구성된 광범위하고 서로 연결된 네트워크이다. 이 조직은 현실 세계 사물에 대한 생물 신경 계통의 상호작용을 모방할 수 있다. ' - Kohonen, 1988 머신러닝에서는 해당 개념에 학습을 더하여서 사용하는데 우선 신경망 학습에 대한 기초 성분이 있는데 바로 뉴런(Neuron) 입니다. 사람을 포함한 생물의 기초 단위로써 생물의 신경망에서 뉴런들끼리 서로 연결되어 있습니다. 만약 이러한 뉴런들이 신호를 받아 흥분을 하게 되었을 때 연결된 뉴런에게 화학물질을 전송하게끔 구성돼있습니다. 그러나 신호를 받아 흥분을 하게끔 하는 어떠한 한계치가 있는데 해당 한계치를 넘어야 자..

프로그래밍 ( Programming )/머신러닝 ( ML ) 2021. 11. 22. 21:38

인공지능은 현재 다양한 산업 문제들을 해결하고 데이터들을 분석하여 최적의 방향으로 나아가게 해주고 있습니다. 인공지능은 말 그대로 사람이 만든 지능입니다. 해당 지능을 수학적 모델에 근거해서 기계에 적용시킴으로써 기계가 학습할 수 있는 능력이 되게 됩니다. 현재 우리가 보고 있는 인터넷에서도 엄청난 머신러닝 기법들이 적용이 되있는데 대표적으로 데이터 마이닝, 즉 대규모로 저장된 데이터 안에서 체계적이고 자동적으로 통계적 규칙이나 패턴을 분석하여 가치 있는 정보를 추출하는 방법입니다. 웹 애플리케이션부터 의학, 생물학, 공학까지 전반에서 적용되어 데이터를 해석하고 있습니다. 또한 과거 2007년에 나온 자율비행을 하는 헬리콥터부터 NLP(자연어 처리), 컴퓨터 비젼과 우리가 자주 사용하는 아마존 넷플릭스 ..

프로그래밍 ( Programming )/머신러닝 ( ML ) 2021. 2. 7. 22:15

경사 하강법 (Gradient descent) Gradient Descent 방법은 1차 미분계수를 이용하여 함수의 최소 값을 찾아가는 iterative 방법입니다. Gradient Descent는 함숫값이 낮아지는 방향으로 진행이 되는데 최종적으로는 최소 함숫값을 갖도록 하는 독립 변수를 찾는 방법입니다. 때문에 이러한 진행방법 때문에 앞이 안개로 덮인 산에서 가장 낮은 위치를 찾기 위해서 산을 더듬으며 내려오는 것과 비슷하다고 해서 Steepest Descent라고도 불립니다. Gradient Descent의 주목적은 함수의 최솟값을 찾는 것입니다. 함수는 머신러닝에서 예를 들면 Sum of Squared Residual이 될 수 있습니다. 때문에 경사 하강법을 통해서 Residual의 합이 최소가 ..

프로그래밍 ( Programming )/머신러닝 ( ML ) 2021. 1. 23. 14:31