행렬의 곱셈을 처음 배울 때 가장 자주 나오는 질문은 “숫자의 곱셈처럼 순서를 바꿔도 되지 않나요?”입니다. 스칼라에서는 \(2\times3\)과 \(3\times2\)의 결과가 같지만, 행렬에서는 \(AB\)와 \(BA\)가 서로 다른 계산이 되거나 아예 한쪽만 가능할 수 있습니다. 이 차이를 단순히 외워 버리면 계산 문제에서는 잠시 넘어갈 수 있어도, 행렬의 크기를 판단하거나 식의 의미를 묻는 문제에서 쉽게 막힙니다.
행렬 곱셈은 왜 순서를 먼저 확인할까
행렬의 곱셈은 아무 행렬끼리나 할 수 있는 연산이 아닙니다. 앞에 있는 행렬의 열의 개수와 뒤에 있는 행렬의 행의 개수가 같아야 합니다. 예를 들어 \(A\)가 \(2\times3\) 행렬이고 \(B\)가 \(3\times4\) 행렬이라면 \(AB\)는 계산할 수 있으며 결과는 \(2\times4\) 행렬이 됩니다. 앞 행렬의 행 개수와 뒤 행렬의 열 개수가 결과의 크기를 결정합니다.
반대로 \(BA\)를 계산하려면 \(B\)의 열 개수인 4와 \(A\)의 행 개수인 2가 같아야 합니다. 이 경우에는 조건이 맞지 않으므로 \(BA\) 자체가 정의되지 않습니다. 따라서 순서가 중요하다는 말은 단순히 결과 숫자가 달라진다는 뜻만이 아니라, 순서를 바꾸면 계산할 수 없는 식이 될 수도 있다는 의미입니다. 명신여고고1수학과외에서 행렬을 다룰 때도 먼저 원소 계산에 들어가기보다 각 행렬의 크기를 적어 보는 습관이 필요한 이유가 여기에 있습니다.
행과 열을 연결하는 계산 방식
행렬의 곱은 앞 행렬의 한 행과 뒤 행렬의 한 열을 대응시켜 계산합니다. 예를 들어
\(A=\begin{pmatrix}1&2\\3&4\end{pmatrix}\), \(B=\begin{pmatrix}5&6\\7&8\end{pmatrix}\)라면
\(AB\)의 첫 번째 원소는 \(A\)의 첫째 행과 \(B\)의 첫째 열을 곱해 더한 값입니다.
\(1\times5+2\times7=19\)
같은 방식으로 계산하면
\(AB=\begin{pmatrix}19&22\\43&50\end{pmatrix}\)입니다.
하지만 순서를 바꾼 \(BA\)는
\(BA=\begin{pmatrix}23&34\\31&46\end{pmatrix}\)가 됩니다.
두 결과의 크기는 같지만 원소가 서로 다릅니다. 앞 행렬의 행과 뒤 행렬의 열을 연결한다는 계산 규칙이 순서에 따라 달라지기 때문입니다. 학생이 \(AB\)와 \(BA\)를 같은 것으로 처리했다면, 공식 하나를 잊은 것이 아니라 행렬 곱셈의 구조를 일반적인 수의 곱셈과 혼동한 것입니다.
크기만 보고 결과를 판단하는 연습
행렬 문제에서 계산 실수를 줄이려면 각 행렬의 크기를 먼저 표시해야 합니다. \(A\)가 \(m\times n\), \(B\)가 \(n\times p\)라면 \(AB\)는 \(m\times p\)입니다. 가운데 숫자 \(n\)이 같아야 곱셈이 가능하고, 바깥 숫자 \(m,p\)가 결과의 크기가 됩니다.
예를 들어 \(A\)가 \(3\times2\), \(B\)가 \(2\times1\)이면 \(AB\)는 \(3\times1\)입니다. 이때 \(BA\)는 \(2\times1\)과 \(3\times2\)를 곱하는 것이므로 가운데 숫자 1과 3이 달라 계산할 수 없습니다. 학생이 계산 과정은 정확하게 적었는데도 답을 틀린다면, 원소를 잘못 곱한 것보다 먼저 곱셈 가능 조건과 결과의 크기를 확인할 필요가 있습니다.
문제집을 풀 때는 계산 전에 다음처럼 짧게 적어 보는 것이 좋습니다.
- \(A: 3\times2\)
- \(B: 2\times1\)
- \(AB: 3\times1\)
이 기록은 단순한 형식이 아니라 계산 방향을 알려 주는 기준입니다. 결과가 \(3\times1\)이어야 하는데 원소를 네 개 적었다면, 계산 도중 행과 열을 잘못 대응시켰다는 것을 바로 발견할 수 있습니다.
AB와 BA가 같아지는 경우도 있는가
행렬에서는 일반적으로 \(AB\ne BA\)이지만, 특정 행렬에서는 우연히 두 결과가 같을 수 있습니다. 그러나 이런 예외를 보고 “행렬 곱셈도 순서를 바꿔도 된다”고 결론 내리면 안 됩니다. 어떤 행렬에서는 \(AB=BA\)가 성립하더라도, 그것은 해당 행렬의 특별한 성질 때문이지 곱셈의 기본 법칙이 바뀐 것이 아닙니다.
특히 단위행렬 \(I\)는 행렬 곱셈에서 일반적인 수의 1과 비슷한 역할을 하므로 \(AI=IA=A\)가 됩니다. 이처럼 순서를 바꾸어도 같은 결과가 나오는 사례는 개념을 이해하는 데 도움을 주지만, 모든 행렬에 적용되는 규칙은 아닙니다. 시험에서는 먼저 “두 곱이 모두 정의되는가”를 확인하고, 그다음 실제 결과가 같은지 계산해야 합니다.
식의 의미가 순서를 결정하는 문제
행렬의 순서는 계산 가능 여부뿐 아니라 표현하려는 관계와도 연결됩니다. 어떤 자료를 행렬로 정리한 뒤 특정 변환을 적용한다고 할 때, 먼저 적용하는 변환과 나중에 적용하는 변환의 순서가 달라지면 최종 결과도 달라질 수 있습니다. 행렬 곱셈이 여러 개 이어진 식에서 괄호의 위치를 살피는 이유도 여기에 있습니다.
다만 행렬 곱셈은 결합법칙 \((AB)C=A(BC)\)가 성립하므로, 세 행렬의 순서를 바꾸지 않는 한 계산을 묶는 방식은 바꿀 수 있습니다. 예를 들어 \(A,B,C\)가 모두 곱셈 가능한 크기라면 \(ABC\)를 먼저 \(AB\)로 계산하거나 \(BC\)로 계산할 수 있습니다. 하지만 \(ABC\)를 \(ACB\)로 바꾸는 것은 결합법칙이 아니라 교환법칙을 적용하는 것이므로 허용되지 않습니다.
학생들이 자주 하는 오류는 괄호를 바꾸는 것과 행렬의 순서를 바꾸는 것을 같은 것으로 생각하는 것입니다. 괄호를 옮기는 것은 결합법칙의 문제이고, 행렬의 위치를 바꾸는 것은 교환법칙의 문제입니다. 두 법칙을 구분해 적어 보면 어떤 변형이 가능한지 명확해집니다.
틀린 풀이에서 확인할 지점
행렬 곱셈에서 오답이 나왔을 때는 정답 행렬만 보고 다시 베끼지 말아야 합니다. 먼저 다음 세 가지를 확인합니다. 첫째, 앞 행렬의 열과 뒤 행렬의 행을 비교했는지 봅니다. 둘째, 결과 행렬의 크기를 올바르게 정했는지 확인합니다. 셋째, 각 원소를 앞 행렬의 행과 뒤 행렬의 열로 계산했는지 살펴봅니다.
예를 들어 첫 번째 원소는 맞았는데 두 번째 열부터 틀렸다면 행렬의 크기를 잘못 이해한 것이 아니라 뒤 행렬의 열을 읽는 과정에서 혼동했을 가능성이 큽니다. 반대로 모든 원소를 계산하기 전에 “계산 불가”라고 판단했다면 곱셈 가능 조건을 잘못 비교했을 수 있습니다. 틀린 원인을 이렇게 나누면 같은 문제를 다시 풀 때 단순히 숫자를 조심하는 것보다 정확한 부분을 고칠 수 있습니다.
문제를 풀 때의 실제 순서
행렬 곱셈 문제를 만나면 먼저 식에 적힌 순서를 그대로 표시합니다. \(AB\)라면 \(A\)의 행과 \(B\)의 열을 연결하고, \(BA\)라면 \(B\)의 행과 \(A\)의 열을 연결합니다. 그다음 두 행렬의 크기를 적어 곱셈 가능 여부와 결과의 크기를 확인합니다. 마지막으로 한 원소를 시범 계산해 행과 열의 대응이 맞는지 점검한 뒤 전체 계산을 진행합니다.
해설을 본 뒤에는 결과 행렬을 다시 읽는 것보다 문제의 행렬만 남겨 두고 이 순서를 혼자 재현해 보는 편이 효과적입니다. 특히 \(AB\), \(BA\), \((AB)C\), \(A(BC)\)가 함께 나오는 문제에서는 각 식의 크기를 옆에 적어야 합니다. 명신여고고1수학과외에서 이 과정을 반복하는 목적은 계산 속도만 높이는 데 있지 않습니다. 어떤 곱이 가능한지, 결과가 어떤 형태여야 하는지, 순서를 바꾸어도 되는 상황인지 스스로 판단하게 하는 데 있습니다.
행렬의 곱셈은 숫자를 차례로 곱하는 단원이 아니라 행과 열의 관계를 읽는 연산입니다. 따라서 \(AB\)와 \(BA\)를 무심코 같은 식으로 보지 않고, 크기와 대응 위치를 먼저 확인해야 합니다. 이 기준이 자리 잡으면 계산 문제뿐 아니라 행렬식의 변형이나 여러 행렬이 이어진 식에서도 순서를 근거 있게 판단할 수 있습니다.