'K-MOOC/머신러닝'에 해당되는 글 6건

class MultiplGate(object):
	def forward(x,y):
    	z = x*y
        self.x = x # must keep these around
        self.y = y
        return z
    def backward dz :
    	dx = self.y*dz # [dz/dx * dL/dz]
        dy = self.x*dz # [dz/dy * dL/dz]
        return [dx, dy]

음... 왜 이렇게 나오려나???

### 이미지 분석

데이터 32x32x3(색) 의 크기이미지를 축소 하여 행으로 정렬하여 간편화 하게 변환

그리고 분석한다 근데 문제점이 많다 고양이 인데 강아지에 가깝고 에러가 있다

$$$ 경계면 을 읽어오면 혹시 그물체를 분활하여 기억하지 않을까???

첫번째 과정은 0 보다 크거나 같게 만든다

두번째 정규화 나누어 합이 1이 되게 만든다

기술만 이해하는 쪽으로 해야겠다

복잡도를 산출 하는 방법을 재대로 배우고 이해될 거 같은 부분들이 많다

###간단 코드

grad_squared = 0 
while True:
	dx = compute_gradient(x)
    grad_squared += dx * dx
    x -= learning_rate * dx / (np.sqrt(grad_squared) + 1e-7)
  

compute_gradient(x) ==> G_t += [g_t[0]^2, ...,g_t[d]^2]

np.sqrt(grad_squared) 

@@@AdaGrad

grad_squared = 0 
while True:
	dx = compute_gradient(x)
    grad_squared += dx * dx
    x -= learning_rate * dx / (np.sqrt(grad_squared) + 1e-7)
  

@@@RMSProp

grad_squared = 0 
while True:
	dx = compute_gradient(x)
    grad_squared += decay_rate * grad_squared + (1 - decay_rate) * dx * dx
    x -= learning_rate * dx / (np.sqrt(grad_squared) + 1e-7)
  

@@@AdaGrad/RMSProp

first_moment = 0
second_moment = 0
while True:
	dx = compute_gradient(x)
    first_moment = beta1 * first_moment + (1 - beta1) *dx
    second_moment = beta2 * second_monent + (1 -beta2) * dx * dx
    x -= learning_rate * first_moment / (np.sqrt(grad_squared) + 1e-7)
  

@@@Adam(fullform)

first_moment = 0
second_moment = 0
while True:
	dx = compute_gradient(x)
    first_moment = beta1 * first_moment + (1 - beta1) *dx
    second_moment = beta2 * second_monent + (1 -beta2) * dx * dx
    first_unbias = first_moment / (1 - beta1 **t)
    second_unbias = second_moment / (1 -beta2 **t)
    x -= learning_rate * first_unbias / (np.sqrt(second_unbias) + 1e-7)
  

https://daeson.tistory.com/167

하... 모르겟어...

https://helloworld-km.tistory.com/entry/Steepest-Descent-method

###

a^tb < ||a||b||

a^tb = 종류???

### 식들 음...

||x||¹=∑|x_i|

||x||무한 = max |x_i|

|x^ty| < ||x||_p||y||_q for 1/p+1/q =1

Q. 실수 x, y에 대해서 2x + 9y = 7 일 때, 4x2 + 9y2 의 최솟값을 고르시오.

A.  49/10