역행렬

• $XX^-1=I(단위행렬)$
  • 이때 $X^-1$를 역행렬이라고 한다.
• 존재 조건
  1. 행렬식 ≠ 0
  2. $X$가 정사각행렬(행과 열의 개수가 같은 행렬)이어야 함.

유사 역행렬

역행렬을 구할 수 없을 때 구할 수 있다. 거의 정사각행렬이 아니거나 행렬식이 0인 경우가 많기에 유사역행렬을 이용.

• 데이터 수가 적은 선형회귀 문제를 바로 풀 수 있음!
  • $W=X^+y=(X^TX)^−1X^Ty$

SGD(with mini batch)

<aside> 📖

ㅁㄴㅇㅁㄴ

</aside>

확률 분포 및 통계

우리가 관심있어하는 대상이 되는 모든 값들의 집합을 모집단 분포라고 한다. 하지만 이 모집단의 분포를 알아내기에는 현실적으로 불가능한 경우가 많아 모집단에서 표본을 추출하여 표본의 분포를 구한다.

머신러닝의 의미도 P_data

확률 변수의 종류에 따른 확률 분포

• 이산 확률 분포: 확률 변수가 취할 수 있는 값의 개수가 셀 수 있는 경우
• 연속 확률 분포: 확률 변수가 특정 구간의 연속적인 실수 값을 가지는 확률 분포