반응형 지식공학/공학수학4 KL Divergence/JSD Intro... 우리가 데이터의 분포를 추정했을 때 얼마나 잘 추정한 것인지 측정하는 방법은 없을까? 오늘 소개해 드릴 Kullback-Leibler Divergence 와 Jensen-Shannon Divergence는 서로 다른 확률 분포의 차이를 즉정하는 척도이다. 우리가 추정한 확률 분포와 실제 확률 분포 사이의 차이가 작다면 좋은 추정이라고 할 수 있다. 또한 기계학습에서는 복잡한 함수나 분포를 단순화 하여 하나의 간단한 함수로 나타내려는 노력을 많이 한다. 예를 들어 실제 측정 결과 얻은 복잡한 확률 분포를 비교적 적은 파라미터를 갖는 Gaussian Distribution 등으로 근사한다면 약간의 오차는 있겠지만 정보를 저장하는 데 드는 비용을 크게 절감할 수 있을 것이다. 이 때도 역시 가.. 2021. 5. 27. Bayes Rule Intro... Bayes Rule은 어떤 값을 예측하기 위한 수단으로서 여러 분야에서 널리 사용되는 개념으로 통계학을 공부한 사람이라면 대부분 들어보셨을 만한 유명한 정리이다. 이번 포스트에서는 이 Bayes Rule에 대해 간단히 살펴보고, 수식의 Notation들이 각각 무엇을 의미하는지 알아보도록 한다. Bayes Rule을 설명하기 위해 농어(Sea Bass)와 연어(Salmon)를 구분하는 문제를 예로 많이 든다. 먼저 농어와 연어를 구별하기 위해서 우리가 할 일은 간단하다. 낚시를 통해 건져 올린 물고기를 보고 농어인지 연어인지 맞추기만 하면 된다. 이 때 우리는 물고기를 분류하는 기준세워야 하는데 피부의 밝기로 구분해보자. 즉 우리가 물고기의 피부 밝기 정보를 이용해서 그 물고기가 농어인지.. 2021. 5. 27. 2차 미분방정식(Second Order Linear ODEs) 이해 2차 미분방정식은 다양한 공학적 문제를 해결하는데 기본이 되는 식입니다. 쉬운 선형 2차 미분방정식부터 접근하겠습니다. $$y''+p(x)y'+q(x)y=r(x)$$에서 r(x)가 0이면 제차(Homogeneous), 0이 아니면 비제차(nonhomogeneous)이라고 합니다. 당연히 Homogenous가 풀이하는데 쉽겠죠? 선형 미분방정식을 풀이는 중첩의 원리 도는 선형성의 원리를 이용합니다. 어떤 구간에서 두 개 해의 선형 결합은 다시 그 구간에서 미분방정식의 해가 된다는 의미입니다. 즉, 해들의 합과 상수곱도 다시 해가 된다는 것입니다. 만약 재차 미분방정식의 해가 y1과 y2가 있다면 각각이 해가 되지만 중첩의 원리에 의해 $$y=c_{1}y_{1}+c_{2}y_{2}$$또한 근이 된다는 것입니.. 2020. 11. 9. 1차 상미분방정식(First Oder Differential Equations) 이해 물리적 현상이나 다른 문제를 유도함으로써 상미분 방정식을 유도할 수 있습니다. 방정식을 수식으로 풀어내면 현상을 이해하는데 도움이 됩니다. 상미분 방정식 중 가장 간단한 방정식이 1차 상미분 방정식입니다. 독립변수(x) 하나로 인해 종속변수(y)가 변하므로 간단한 형태가 됩니다. 이러한 행위를 수학적 모델링이라고 합니다. 1차 상미분 방정식은 다음과 같은 형태입니다.$$y' = cos x\\y'=0.2y\\y' = f(x,y)$$미지의 함수 y와 도함수 y' 그리고 변수의 함수들로만 구성이 되어 있습니다. 식 (1)과 식 (2)는 도함수가 주어져 있고 미분방정식을 만족시키는 함수를 찾는 것이 해(Solution)를 구한다고 합니다. 보통 미분방정식의 해는 임의의 적분 상수(c)로 인해 정해져 있지 않습니.. 2020. 11. 4. 이전 1 다음 반응형
