22-1 다변수 미분의 연쇄법칙과 야코비행렬, 헤세행렬

1. 다변수 함수의 연쇄법칙
   
   1) 다변수 함수가 2차 이상의 깊이로 매개변수화 됐을 때를 가정하자. 예를 들면 아래와 같은 상황이다
   
   ${(1)}$ $f[x_{1}, x_{2}, ..., x_{n}]$ 일 때, $x_{1} =  x_{1}(t)$, ..., $x_{n} = x_{n}(t)$ 
   -. 즉, $x_{1}, ..., x_{n}$ 가 2차 깊이의 t로 매개화된 상황이다.
   
   ${(2)}$ 이 경우,  매개변수 t의변화가 원함수에 영향을 주는 정도를 파악하기 위한 미분법이 필요하다.
   
   ${(3)}$ 이와 같은 미분을 $\frac{\partial f}{\partial t}$로 정의할 때 아래와 같이 나타낼 수 있다.

   $$\frac{df}{dt} = [\frac{\partial f}{\partial x_{1}}, \frac{\partial f}{\partial x_{2}}, ..., \frac{\partial f}{\partial x_{n}}] \cdot [\frac{d x_{1}}{dt}, \frac{dx_{2}}{dt}, ..., \frac{dx_{n}}{dt}]^{T} = \frac{\partial f}{\partial x_{1}} \cdot \frac{dx_{1}}{dt} + ... + \frac{\partial f}{\partial x_{n}} \cdot\frac{dx_{n}}{dt}$$

   ${(4)}$ 즉, 연쇄법칙의 다변수 확장이다.
   -. 모든 요인에 대한 미분이 포함되어 있다는 점에서, 이를 편미분과 대비되는 전미분(total differentiate)로 부르기도 한다.
   
   
2. 다양한 경우의 상황에서의 연쇄법칙
   1) $f[x(t)]$의 연쇄법칙
   
   ${(1)}$ 위에서 살펴본 경우를 의미한다.

   $$\frac{df}{dt} = [\frac{\partial f}{\partial x_{1}}, \frac{\partial f}{\partial x_{2}}, ..., \frac{\partial f}{\partial x_{n}}] \cdot [\frac{d x_{1}}{dt}, \frac{dx_{2}}{dt}, ..., \frac{dx_{n}}{dt}]^{T} = \frac{\partial f}{\partial x_{1}} \cdot \frac{dx_{1}}{dt} + ... + \frac{\partial f}{\partial x_{n}} \cdot\frac{dx_{n}}{dt}$$

   2) $f[x(u_{1}, u_{2}, ... , u_{n})]$의 연쇄법칙
   
   ${(1)}$ 1의 경우에서 확장되어, 매개변수도 n개가 존재하는 상황의 미분법을 의미한다.
   
   ${(2)}$ 1의 경우와 매우 큰 차이점은 없으나, 매개변수 $u_{1}, u_{2}, ..., u_{n}$ 각각에 대하여 편미분을 수행한다는 점이 바뀐다.(따라서 미분소도 d가 아니라 $\partial$로 변경된다.)
   
   -. 우선 $\frac{\partial f}{\partial x}$를 계산하면

   $$\frac{\partial f}{\partial x} = [\frac{\partial f}{\partial x_{1}}, \frac{\partial f}{\partial x_{2}}, ..., \frac{\partial f}{\partial x_{n}}] $$

   
   -. 매개화된 부분에 대한 편미분 $\frac{\partial x}{\partial t}$를 계산하면

   $$\frac{\partial x}{\partial t} = \begin{bmatrix} \frac{\partial x_{1}}{\partial t_{1}} & \frac{\partial x_{1}}{\partial t_{2}} & ... & \frac{\partial x_{1}}{\partial t_{n}}\\  \frac{\partial x_{2}}{\partial t_{1}} & \frac{\partial x_{2}}{\partial t_{2}} & ... &  \frac{\partial x_{2}}{\partial t_{n}}\\  ... & ... & ... & ... \\  \frac{\partial x_{n}}{\partial t_{1}} & \frac{\partial x_{n}}{\partial t_{2}}  & ...  & \frac{\partial x_{n}}{\partial t_{n}}  \end{bmatrix}$$

   즉, 각각의 1차 변수에 대한 2차 매개변수의 미분에 대한 행렬로 도출된다.(각 행은 1차 변수 $x_{1}, ..., x_{n}$, 각 열은 매개변수 $t_{1}, ..., t_{n}$을 따른다.)
   위와 같은 형태의 행렬을 야코비 행렬이라고 한다.
   
   -. 만약 $\frac{\partial x}{\partial t_{1}}$ 이 궁금하다면 행렬의 첫번째 행($t_{1}$)과 $\frac{\partial f}{\partial x}$의 결합

   $$\frac{\partial f}{\partial t_{1}} = [\frac{\partial f}{\partial x_{1}}, \frac{\partial f}{\partial x_{2}}, ..., \frac{\partial f}{\partial x_{n}}] \cdot  [\frac{\partial x_{1}}{\partial t_{1}}, \frac{\partial x_{2}}{\partial t_{1}}, ..., \frac{\partial x_{1}}{\partial t_{n}}]^{T} = \frac{\partial f}{\partial x_{1}} \cdot \frac{\partial x_{1}}{\partial t_{1}} + ... + \frac{\partial f}{\partial x_{n}} \cdot\frac{\partial x_{n}}{\partial t_{1}}$$

3.  야코비 행렬
   
   1) 위에서 이미 야코비행렬을 구했다. 즉, 어떤 함수에 대한 벡터  f에 대한 각 원소별 미분을 정의할 때 

   $$\frac{\partial f}{\partial x} = \begin{bmatrix} \frac{\partial f_{1}}{\partial x_{1}} & \frac{\partial f_{1}}{\partial x_{2}} & ... & \frac{\partial f_{1}}{\partial x_{n}}\\  \frac{\partial f_{2}}{\partial x_{1}} & \frac{\partial f_{2}}{\partial x_{2}} & ... &  \frac{\partial f_{2}}{\partial x_{n}}\\  ... & ... & ... & ... \\  \frac{\partial f_{n}}{\partial x_{1}} & \frac{\partial f_{n}}{\partial x_{2}}  & ...  & \frac{\partial f_{n}}{\partial x_{n}}  \end{bmatrix}$$

   인 1차 미분에 대한 행렬을 야코비 행렬이라고 한다.
   
   
4. 헤세 행렬
   
   1) 야코비 행렬에 대한 야코비 행렬, 즉 이계 도함수로 이루어진 행을 헤세 행렬이라고 한다.
   
   ${(1)}$ 즉, 어떤 함수에 대한 f에 대해 각 원소별로 이계 미분을 정의할 때 

   $$\frac{\partial^{2} f}{\partial x^{2}} = \begin{bmatrix} \frac{\partial^{2} f}{\partial x_{1}^{2}} & \frac{\partial^{2} f}{\partial x_{1}x_{2}} & ... & \frac{\partial^{2} f}{\partial x_{1}x_{n}}\\  \frac{\partial^{2} f}{\partial x_{2}\partial x_{1}} & \frac{\partial^{2} f}{\partial x_{2}^{2}} & ... & \frac{\partial^{2} f}{\partial x_{2}x_{n}}\\  ... & ... & ... & ... \\  \frac{\partial^{2} f}{\partial x_{n}\partial x_{1}} & \frac{\partial^{2} f}{\partial x_{n}\partial x_{2}} & ... & \frac{\partial^{2} f}{\partial x_{n}^{2}} \end{bmatrix}$$

   -. 즉, 함수 f에 대하여 각 행별로 $x_{1}, x_{2}, ..., x_{n}$과 각 열별로 $x_{1}. x_{2}, ..., x_{n}$를 교차시켜 두번 미분한 것이 바로 헤세행렬이다.
   
   2) 헤세행렬은 다음과 같은 성질을 갖는다.
   
   ${(1)}$ 안장점 에 대하여, 이변수 함수에 대한 안장점은 구했으나 n개의 다변수 함수에 대한 일반화된 형태는 제시하지 않았다.
   
   ${(2)}$ 헤세 행렬을 이용하면, 함수 f가 변수 $x_{1}, x_{2} , ... , x_{n}$를 가지는 다변수 함수에 대한 최대, 최소, 안장점 보유 여부를 확인할 수 있다.
   -. 일반화된 안장점 판단 방법론은 고유값을 활용한다.(https://neverland251.tistory.com/11)
   

   유형	판단	결과
   극솟값을 가지는 유형	헤세 행렬을 고유분해 한 결과 그 고윳값의 부호가	모두 양수인 경우, $f(f_{x_{1}} = 0, f_{x_{2}} = 0 , ..., f_{x_{n}} = 0)$인 지점(즉, 정류점)은 극솟값을 가지는 지점이다.
   극댓값을 가지는 유형		모두 음수인 경우, $f(f_{x_{1}} = 0, f_{x_{2}} = 0 , ..., f_{x_{n}} = 0)$인 지점(즉, 정류점)은 극댓값을 가지는 지점이다.
   안장점		음수와 양수가 섞여있는 경우, $f(f_{x_{1}} = 0, f_{x_{2}} = 0 , ..., f_{x_{k}} = 0)$인 지점은 안장점이다.