반응형 ML2 [ML] Bayesian Optimization이란 Introduction (도입) 보통 우리가 실험을 하거나 입력을 넣고 결과가 나오는 현상에 대해서 이해를 하기 위해서 입력과 결과 사이의 관계를 파악하고 그리고 관계를 이용하여 공식을 도출하고 싶어 합니다. 너무나도 잘 알려진 공식 F=ma 또한 그렇게 나온 것이니... 이때 입력과 결과 사이에 관계를 표현하는 요소를 보통 Black Box 또는 Black box function이라고 표현합니다. 그리고 Black Box의 특징은 다음과 같습니다. closed form으로 표현되지 않으며 Non-Linear 또는 Non-Convex 하여 수렴이 잘 되지 않는다. 또한 상당히 Complex, Noisy 하다. 마지막으로 데이터를 한번 얻기 위해 또는 evaluate를 하기 위해서 수많은 비용과 시간이 드.. 2021. 12. 10. [ML] Logistic Regression 설명 및 직접 구현해보기 Logistic Regression (로지스틱 회귀) 로지스틱 회귀 이전에 존재하던 퍼셉트론은 간단하고 좋은 모델이지만 가장 큰 단점은 클래스가 선형적으로 구분되지 않을 때 수렴이 불가능하다는 점입니다. 에포크마다 적어도 하나의 샘플이 잘못 분류되기 때문에 가중치 업데이트가 끝도 없이 계속될수가 있습니다. 물론 학습률을 바꾸거나 에포크 횟수를 늘릴 수는 있지만 한계는 분명 명확하게 존재합니다. 로지스틱 회귀는 이름은 회귀 (Regression)이지만 실제로는 분류 (Classification) 모델입니다. 로지스틱 회귀는 구현이 매우 쉽고 선형적으로 구분되는 클래스에 뛰어난 성능을 내는 분류 모델입니다. 산업계에서 가장 널리 사용되는 분류 알고리즘 중 하나로써 어떤 범주에 속할 확률을 0~1 사이의 값으.. 2021. 12. 2. 이전 1 다음 반응형
