[Linear Regression] Meaning about Determinant


본론부터 말하자면 행렬식이란 선형변환하면서 단위면적이 얼마나 달라지는 것인가를 나타낸다.

행렬식

역행렬을 구할 때 사용되는 행렬식(determinant)는 2x2행렬에서 다음과 같이 정의된다.

행렬

image

에대해여

image

로 정의 된다

또한 역행렬은 image 다음과 같이 정의 된다 대수적으로 AA^-1 = I(단위행렬)이라는 것은 정의 가능하지만 선형 대수학을 너머 행렬을 사용하는 수많은 수학 분야에서의 행렬식이 사용된다. 특히 기하학에서 행렬식은 중요한 위치를 가지는데 어떤 의미를 가지는 것일까

참고로 역행렬을 만드는 방법은 행렬 A를 대각행렬로 만드는 값을 찾은후 행렬식으로 나누어주면 이는 단위행렬이 된다.

행렬식이 가지는 의미는 선형변환후의 두 기저벡터가 이루고 있는 평행사변형의 넓이?

이전 포스팅에서 행렬은 곧 기저벡터의 선형변환식이라고 이해하였다. 기저벡터 (1,0) , (0,1)을 행렬 A로 선형변환하면 기저벡터는 아래와 같다.

image

이때 두 벡터를 통해 만든 아래의 평행사변형의 넓이 AVOU는 삼각형 VOU의 넓이의 두배 값을 가진다 그러므로 삼각형 VOU의 넓이를 구한 후 두배를 해주면 평행사변형 AVOU의 넓이를 구할 수 있다.

image

image

행렬과 역행렬, 그리고 행렬식의 기하학적 관계

당연하게도 역행렬또한 하나의 선형변환을 하는 행렬이다 기하학 적으로 보았을 때 원래 행렬을 이용한 선형 변환의 역-선형변환이라고 할 수 있다. 다시 말하자면 위 예시의 A행렬을 통한 선형 변환은 한변의 길이가 1인 정사각형을 넓이가 ad-bd인 평생사변형꼴로 바꾼 선형변환이며, 같은 행렬의 역행렬은 평행사변형 꼴로 바뀐 도형을 다시 한변의 길이가 1인 정사각형으로 되돌려 주는 역-선행변환이다.

따라서 역행렬에서는 1/det(A)의 요소가 들어간다


4개 주요 부분 공간의 관계

계속해서 선형대수에서 정의된는 4개 주요부분 공간의 관계에대해서 알아보겠다.

image

행렬 = 선형변환

행렬은 그 자체로 선형변환을 하는 연산 이다 다시 돌아보면 행렬은 벡터를 변화니켜 다른 벡터를 출력하는 함수역할을 한다.
그렇다면 논점은 입력과 출력이 있다고 전부 함수라고 말할 수 없는 것처럼 ‘선형변환’이 엄밀하게 함수라고 부를 수 있는가이다.

함수의 가장 근본적인 정의

함수는 집한간의 mapping으로 정의된다.

image

함수는 정의역의 각 원소를 정확히 하나의 공역 원소에 대응시킨다. 즉,선형변환을 함수라고 생각한다면 함수에서의 정의역 -> 치역의 사상에 대해 생각해 볼 수 있어야 한다.

선형변환에서 말하는 정의역, 공역, 치역은 각각 어떤 것일까?

그것이 바로 네 개의 주요 부분공간(row space , column space , null space , left null space)이 의미하는 것이다.

부분공간(subspace)란?

벡터공간은 기본적으로 벡터를 원소로 하는 집합이다(set)

이때, 벡터공간에서는 단순히 원소만을 모아둔 것을 넘어 두가시 연산이 정의되어야 한다는 점이 단순 집합의 개념에서 조금 더 확장된 것이라는 점또한 알고 있다. ex) {1,2,3} -> 선형공간 {1+2 , 1+3 , 1-3 , ….}

부분공간이라는 것은 부분 집합의 개념을 벡터 공간에 접목시킨 것으로 볼 수 있다.

가령 2차원 실수 공간에서 부분공간을 생각 해본다면 원점을 지나는 직성 상의 있는 모든 벡터들의 집합은 1차원 부분 공간을 이룬다. image

행공간과 열공간

이런 관점에서 보았을때, 주어진 임의의 행렬 A의 모든 행 혹은 모든 열들의 선형결합으로 구성된(span) 벡터공간은 부분공간이며 각각을 행공간(row space), 열공간(column space)이라고 부른다

예를 들어 행렬 A가 아래와 같이 주어져있다고 해보자.

image

그러면 행공간은 벡터 [2,1] 와 [4,2]의 선형결합으로 이루어진 선 상에 있는 모든 벡터들의 집합이다.

image

또, 열공간은 벡터 transpsoe [2,4] transpose [1,2]의 선형 결합으로 이루어진 선상에 있는 모든 벡터들의 집합이다.

image

영공간(null space)

행렬 A에서 즉각적으로 인지하긴 어렵지만 영공간(null space)라는 부분공간도 존재한다.

영공간은 아래와 같은 조건을 만족하는 벡터x들의 잡합이다.

image

즉 A라는 선형 변환 후에 모두 0을 출력하게 만들어 주는 입력 벡터 x들인 것이다.

그러면, 우선 A라는 선형변환이 어떻게 작동하는지 시각적으로 생각해 볼 수 있다.

image

위 그림은 2차원 벡터공간 상에 있던 모든 점들이 열공간으로 이동하고 있어 직선상에 모든점이 위치하게된다. 그렇다면 0,0으로 이동하는 벡터도 있을 것인데 이러한 벡터들의 집합을 null space라고 할 수 있다. 아래 그림에서 노란색 선이 zero space이다.

image

눈여겨봐야하는 점은 행공간과 영공간은 서로 직교하는 공간이라는 것이다.

image

Fundamental theorem of linear algebra

-> 행렬이 함수라면 그 함수의 근본적인 의미인 집합 간의 관계를 어떻게 정의할 것인가?

지금까지 알아본 주요 부분 공간들의 관계를 정립할 수 있으며 이 관계를 함수의 관점에서 어떻게 볼 것인가를 설명해 본다.

조금 더 자세하게 정의역과 공역 집합을 벡터 공간으로 봤을 때, m x n 차원의 행렬이라면 n차원 벡터 공간이 정의역이 되고 m차원 벡터 공간이 공역이 되는 것이다.

자세하게 알아보자

입력(정의역) : row space + null space = R^n

선형 변환의 정의역은 row space와 null space의 합집합이다.

n차원 실수 공간 상의 어떤 벡터라도 row space와 null space상의 벡터들의 선형 조합으로 표현할 수 있다.

가령 2 x 2 차원의 행렬, 우리가 지금까지 다뤄왔던 행렬 A =[2,1;4,2]에 대해 생각해보면

가령 (2,3)이라는 벡터는 행공간 위의 점 도 아니고 영공간 위의점도 아니다.

다만, 행공간과 영공간이 서로 직교 한다는 사실을 이용해 (2,3)이라는 벡터를 행공간과 영공간의 기저들의 선형결합으로서 표현 할 수 있게 되는 것이다

image

출력(치역): 모든 것이 column space로

위에서 보았듯이 모든 정의역에 있는 벡터들은 열공간 열공간 위의 점으로 변환되게 된다.

그 이유는 행렬과 벡터의 곱은 열벡터의 선형결합으로 표현 될 수 있기 떄문이다 -> A(x1 ,x2 ,x3 ,x4 ..) = a1x1 , a2x2 , …결국 a벡터의 상수배의 집합 = 선형변환이기 때문이다

또 다른 해석은 정의역의 벡터들은 모두 행공간의 기저와 영공간의 기저결합으로 구성되는데 영공간의 기저로 표현되었던 벡터의 원소들은 모두 선형변환 후 그 크기가 0으로 줄어들기 때문에 선형 변환 후에 모든 벡터들이 열공간 위에 위치하게 되는 것이다.

공역: m차원 실수 공간

선형변환에서 치역은 columns space이다. 공역에서 치역을 뺸 것이 left nullspace이다

선형변환이라는 함수에서 공역은 column space + left null space이며, cilumn space 와 left nullpscae는 서로 직교한다.

left nullspace는 선형 변환 과정에서 시각화 할 수는 없지만 열공간과 서로 직교하므로 다음과 같이 표현한다.

image