[Linear Regression] Meaning about dot product


개요

이전 포스팅에서 벡터란 선형적인 규칙이 정의되는 원소들을 의미한다.이들의 집합에 이 연산이 들이 정의된 집합을 벡터공간이라고 한다. 또 행렬은 벡터를 또다른 벡터로 변환시키는 일종의 연산자로 볼 수 있으며, 특히 행렬과 벡터의 곱은 행렬의 열벡터들을 얼마나 선형결합 시킬 것인가라는 의미로 볼수 있다.

행벡터의 기능과 역할에 대해 알아보고 이를 통해 벡터의 내적이 왜 기하학적으로 한벡터에서 다른 벡터로의 정사영과 관련이 되어 있는지 알아본다.

image

행벡터의 기능과 역할은 무엇이고 벡터의 내적의 기하학적 의미와는 어떻게 연관되어 있는가?


행렬의 기능과 역할

행렬과 행렬의 곱 혹은 행렬의 곱에 대해 생각해보면 행렬의 곱을 해석할 수 있는 가장 기본적인 방법은 아래와 같이 곱해지는 행렬 중 왼쪽 행렬의 행요소들과 오른쪽 행렬의 열요소들의 값들을 순서대로 곱해주고 더해주는 방법이다.

image

이는 이러한 해석이 행벡터와 역벡터간의 내적으로 해석될 수 있다고 언급하였다 하지만, 이번에는 내적이라는 개념을 모른다 가정하고 오직 행렬의 곱셈으 주어진 상태라고 했을때 행벡터와 열벡터 간에 어떤 일이 일어나는지 알아보도록하자.

우리는 보통 벡터라고 하면 열벡터를 우리가 흔히 말하는 벡터의 개념이다. 즉 변화되는 대상을 열벡터로 보자고 관례적으로 잡아둔 것이다.

반면 행벡터는 열벡터에대한 함수이다 즉 행렬의 역할을 수행한다고 생각하자 가령 [2,1]이라는 행벡터와 [3,-4]라는 역벡터에대해 다음과 같은 곱셈을 생각해보자

image

이것을 달리 생각해보면 아래와 같이 함수의 표기로 생각 할 수도 있다.즉 행벡터는 열벡터를 입력으로 받아 스칼라를 출력하는 함수인 것이다. image

행벡터의 시각화

[2,-1]이라는 함수- 행벡터를 시각화 한다면 임의의 벡터 [x,y]에 대해 함수의 출력을 좌표계에 나열하면된다

image

아래그림은 2x+y의 출력값이 각각 -3부터 4에 해당하는 x,y순서쌍들을 한선에 표시한것이다. 벡터의 순서쌍중 일부를 벡터로 표시하면 아래와 같이 볼 수 있다.

image

출력값이 -3인 벡터들을 보면 모두 2x+y = -3인 점선위에서 종점을 가지는 벡터의 잡합임을 알 수 있다.

행벡터와 벡터의 내적

벡터간의 내적은 임의의 두벡터 v1과 v2에 대해 두벡터의 사잇각이 theta라면 벡터의 내적은 다음과 같이 계산된다 image

여기서 v2*cos(theta)는 v1방향으로의 정사영이라는 점또한 알 수 있다.

출력 스칼라값의 의미는 무엇일까 행벡터에 해당하는[2,1]을 그려본뒤 x2+y =4라는 점까지의 거리를 생각해보자

image

생각해보면 2x+y =c에 해당하는 점선은 모두 행벡터[2,1] 왜나면 행벡터가 점선으로 표현한 함수들에 대한 법선 벡터 역할을 하기 떄문이다. 따라서 아래 그림에서 빨간색으로 표현한 길이는 다음과 같이 삼각형의 높이를 계산함으로써 얻을 수 있다. image

따라서 d = 4/root(5) 인데 이에 행벡터의 길이를 곱하면 스칼라 값 4가 나온다

즉 열벡터의 정사영길이 *행벡터의 길이 = 내적값과 일치함을 알 수 있다.

행벡터와 행공간

행벡터도 열벡터와 마찬가지로 벡터의 정의를 만족하며 선형성은 다음과 같은 수식이 성립함을 의미한다. image

또한 상수배 연산이 성립한다.

image

행벡터가 선형함수라는 것의 기하학적 의미

이전에 행벡터에 열벡터를 입력시켰을 때 얻는 스칼라 출력값의 등고선을 이용해 보았다 이 그림을 다시 생각해 보면 주어진 행벡터에 대해서 어떤 열벡터와의 연산 후 출력 된 스칼라 값을 생각하는 방법은 해당 역벡터가 등고선 몇개를 통과 했는가와 같다고도 볼 수 있다.

즉 스칼라값은 점하나를 의미한다 열벡터를 행벡터에 투영한다고 생각하면 열벡터는 전체 공간이 직선이 될 것이다 따라서 직선속에서 가질 수 있는 요소는 스칼라 값밖에 없다는 것을 의미한다. 다시말해 행벡터에 투영된 길이라고 보면된다.

행벡터간의 합

또한 행벡터간의 합이 의미하는 것은 두개의 서로 다른 등고선이 합해져서 새로운 등고선을 만들어 낼 수 있음을 의미한다 이때 새롭게 만들어지는 등고선은 두개의 서로 다른 등고선이 표방하는 행벡터들이 합쳐져서 얻어진 새로운 행벡터에 수직하도록 형성된다.

image

행공간은 열공간의 쌍대공간

덧셈 법칙과 곱셈 법칙이 정의된 행벡터들로 구성된 집합을 행공간이라고 부른다. 행공간은 열공간에 대응되는 공간이라는 의미에서 쌍대공간(dual space)이라고 불리며, dual space의 엄밀한 정의는 다음과 같다. image 쌍대 공간의 개념이 중요한 것은 원래의 벡터 공간에서 특정 문제를 풀기가 어려운 경우에 해당 쌍대 공간에서는 문제가 쉽게 풀리는 경우가 있기 때문이다.