소수: 수학자들이 사랑한 수 (5)

페르마의 소정리

정수론 학자들은 자신들의 학문의 역사가 2000년이 넘는다는 사실을 자랑스럽게 여긴다. 물론 정수론의 정확한 기원을 꼽을 순 없지만, 적어도 기원전 4세기 유클리드가 남긴 ‘원론’에 여러 가지 정수론 결과가 포함되어 있으니, 2000년의 역사라는 말이 아주 틀린 말은 아니겠다. 원론에는 앞서 소개한 ‘소수의 무한성’과 ‘산술의 기본정리’ 외에도 두 자연수의 최대공약수를 찾는 방법 (유클리드 호제법)이나 √2가 무리수임을 증명하는 것도 포함되어 있다. (각주 [1] 참고.) 그 이후에도 여러 그리스 수학자들이 정수론에 기여했으나, 이 흐름은 기원후 5~6세기, 고대 그리스 수학의 명맥이 끊기며 잊혀지게 된다. 이후 인도, 아랍 등지에서 몇몇 위인들이 산발적으로 정수론에 기여했으나, 하나의 학문으로 자리잡지는 못했다. 정수론이 '학문'으로서 자리잡고, 여러 학자들에 의해 꾸준히 논의되고 발전하게 된 데에는 17세기 한 인물의 공이 지대했다. 그 인물의 이름은 바로 피에르 드 페르마(Pierre de Fermat)이다.

페르마를 언급하면 자연스럽게 떠오르는 것이 바로 페르마의 마지막 정리(Fermat's Last Theorem)이다. 디오판투스의 '산술' 여백에 남긴 그의 짧은 메모는 300년이 넘는 시간 동안 수학자들을 사로잡았다.

페르마의 마지막 정리

세제곱수를 두 세제곱수로, 혹은 네제곱수를 두 네제곱수로, 또 일반적으로 제곱보다 큰 거듭제곱수를 동일한 지수의 두 거듭제곱수로 나눌 수 없는데, 나는 이에 대한 실로 놀라운 증명법을 발견했다. 하지만 여백이 부족해 이를 적지 않겠다. (각주 [2] 참고.)

현대적 표기법으로는 다음과 같이 쓸 수 있다:

페르마의 마지막 정리 (현대적 표기)

n을 3 이상의 자연수라고 하자. 그렇다면 방정식 x^n + y^n = z^n을 만족하는 0이 아닌 정수 x, y, z는 존재하지 않는다.

페르마가 남긴 이 수수께끼 같은 문구는 단순한 수학적 명제를 넘어, 수백 년에 걸친 지적 모험의 서막이 되었다. 후대의 수학자들은 이 매혹적인 난제 앞에서 끊임없이 새로운 도구를 개발해 왔고, 그 과정에서 정수론은 눈부신 진화를 거듭해 왔다. 예컨대 대수학과 협력해 대수적 수론(algebraic number theory)으로, 해석학과 손을 잡아 해석적 수론(analytic number theory)으로, 기하학을 받아들여 디오판투스 기하학(Diophantine Geometry) 및 산술적 기하학(Arithmetic Geometry)으로 그 지평과 가능성을 넓혀갔다. 마침내 1995년, 앤드루 와일스가 증명에 성공했을 때의 정수론은 페르마가 상상했을 모든 경계를 뛰어넘어 있었다. 오늘날에도 정수론은 수학의 최전선에 서있다. 새로운 수학적 발견이나 기법이 등장할 때마다, 그것들은 마치 시험대에 오르듯 정수론의 전장에 내보낸다.

하지만 우리의 관심을 더욱 끄는 것은 페르마라는 인물 자체다. 법률가였던 그에게 수학은 오롯이 취미였다. 일과를 마치고 돌아와 디오판투스의 '산술'을 펼쳐 들고, 그 여백에 자신의 생각을 메모하는 것이 그의 즐거움이었다. 그러나 이 아마추어 수학자의 통찰은 당대 최고의 수학자들조차 놀라게 할 만큼 예리했다. (각주 [3] 참고.) 그의 마지막 정리는 물론 다른 수학적 결과물이 알려지게 된 계기는 그의 사후 그의 아들이 아버지의 저작물을 출간했기 때문이다. 이로써 그는 수많은 ‘보물지도’를 후대의 수학자들의 손에 쥐어주었다. 여기서 '보물'이 아닌 '보물지도'라 표현한 이유는, 그가 남긴 것들이 대부분 증명 없는 단순한 주장이었기 때문이다. 후대 수학자들은 이 주장들의 진위를 하나하나 검증해야 했다. 이 모험에 가장 열정적으로 뛰어든 이가 바로 우리에게 너무나 잘 알려진 레온하르트 오일러(Leonhard Euler)다. 그는 페르마의 수수께끼들을 해결하고 발전시키며, 정수론을 '신비한 단편적 사실들의 모음'에서 '짜임새 있는 학문'으로 변모시켰다. 하지만 천하의 오일러조차 끝내 해결하지 못한 수수께끼가 하나 있었으니, 바로 페르마의 마지막 정리다. 이 정리에 '마지막'이라는 수식어가 붙은 이유는, 그가 남긴 주장들 중 가장 마지막까지 해결되지 않았기 때문이었다.

이제 우리는 페르마가 남긴 흥미로운 결과 중 하나인, 페르마의 소정리(Fermat’s little theorem)를 살펴볼 것이다. 이를 이해하기 위해서는 먼저 합동 연산이라는 도구가 필요한데, 이는 우리가 이미 일상 속에서 자연스럽게 사용하고 있는 개념이다. 가장 대표적인 합동 연산의 예가 시각 계산이다. 예컨대 11시에 침대에 가서 5시간을 잤다고 하자. 그렇다면 깨어난 시각은 몇 시인가? 11+5=16이므로 16시지만, 우리는 4시라고 답한다. 왜냐하면 시각을 계산할 때 12는 0으로 취급하기 때문이다. 이처럼 '어떤 자연수를 0으로 취급해 주는' 연산을 합동연산이라고 한다.

합동연산의 엄밀한 정의는 다음과 같다. a와 b를 정수, N을 자연수라고 하자. N이 a-b를 나눈다면, a와 b가 mod N에서 같은 것이라 여긴다. 이를 a ≡ b (mod N)으로 표기한다. 시계의 예로 돌아가보면, 13 ≡ 1 (mod 12)이다. 왜냐하면 13 - 1 = 12이기 때문이다. 같은 논리로 25도, -11도 모두 1과 같다. 즉 mod 12의 세계에선 다음의 정수들을 모두 1과 같은 것으로 취급한다.

… -35, -23, -11, 1, 13, 25, 37, 49, …

이 논리를 발전시켜, mod N의 세계에서 다음의 것들이 x와 같은 것으로 여긴다.

…, x-3N, x-2N, x-N, x, x+N, x+2N, x+3N, …

합동연산을 이용해 덧셈, 뺄셈, 곱셈, 제곱도 할 수 있다. (각주 [4] 참고.) 연습 삼아 mod 5의 세계에서 3 + 4, 3 - 4, 3 × 4, 3⁴를 계산해 보자.   

3 + 4 = 7이며, 7 - 5 = 2이므로, 7 ≡ 2 (mod 5)이다. 즉 3 + 4 ≡ 2 (mod 5)이다.

3 - 4 = -1이며, -1 + 5 = 4이므로, -1 ≡ 4 (mod 5)이다. 즉, 3 - 4 ≡ 4 (mod 5)이다.

3 × 4 = 12이며, 12 - 2 × 5 = 2이므로, 12 ≡ 2 (mod 5)이다. 즉, 3 × 4 ≡ 2 (mod 5)이다.

3⁴ = 81이며, 81 - 16 × 5 = 1이므로, 81 ≡ 1 (mod 5)이다. 즉, 3⁴ ≡ 1 (mod 5)이다.

이제 우리는 페르마가 발견한 놀라운 법칙을 만날 준비가 되었다.

페르마의 소정리

p를 소수라 하고, a가 정수라 하자. 덧붙여 p가 a를 나누지 않는다고 가정하자. 그렇다면 a^{p-1} ≡ 1 (mod p)이다.

정말 그럴까? 확인 삼아 p = 5이고, a가 1, 2, 3, 4인 경우를 살펴보자.

먼저 1⁴ = 1이기에, 당연히 1⁴ ≡ 1 (mod 5)이다.

2⁴ = 16이며, 16 - 3 × 5 = 1이다. 그러므로 2⁴ ≡ 1 (mod 5)이다.

3⁴ = 81이며, 81 - 16 × 5 = 1이다. 그러므로 3⁴ ≡ 1 (mod 5)이다.

4⁴ = 256이며, 256 - 51 × 5 = 1이다. 그러므로 4⁴ ≡ 1 (mod 5)이다.

페르마의 소정리가 예측한 대로, 모든 경우에서 a⁴ ≡ 1 (mod 5)이 성립했다! 의심 많은 독자라면 이렇게 물을 것이다. "혹시 4 제곱이 아닌 다른 거듭제곱에서도 같은 일이 일어나지 않을까?" 하지만 세제곱의 경우를 살펴보면, 2³ ≡ 3 (mod 5), 3³ ≡ 2 (mod 5), 4³ ≡ 4 (mod 5)로 제각각의 값을 가진다. 바로 여기서 우리는 페르마의 소정리가 가진 마법 같은 성질을 발견한다. 각자의 길을 가던 숫자들이 p-1 제곱이 되는 순간, 약속이라도 한 듯 모두 1이라는 하나의 값으로 모여든다. 도대체 이 마법에는 어떤 비밀이 숨겨져 있는 것일까?

[1] 원론의 모든 내용이 유클리드의 독창적인 발견은 아니다. 예컨대 우리에게 친숙한 피타고라스의 정리와 그 증명도 원론에 포함되어 있다.

[2] Cubum autem in duos cubos, aut quadratoquadratum in duos quadratoquadratos, et generaliter nullam in infinitum ultra quadratum potestatem in duos eiusdem nominis fas est dividere cuius rei demonstrationem mirabilem sane detexi. Hanc marginis exiguitas non caperet.

[3] 페르마를 아마추어 수학자라 부르는 것은 결코 수학자들의 텃세가 아니다. 페르마 본인이 자신의 수학적 결과물을 출간하기를 극도로 꺼려했다.

[4] 단 나눗셈은 조심해야 한다. 예컨대 mod 9에서 6÷3를 상상해보자. 이는 3x ≡ 6 (mod 9)을 만족하는 정수 x를 찾는 것과 같다. 직접 계산해본다면, x에 2, 5, 8이 들어가도 식이 성립함을 알 수 있다. 일반적으로 나눗셈은 하나의 답을 내놓지만, 합동 연산에서는 답이 여러개가 될 수도 있다. 일반적으로 합동 연산에서 나눗셈은 잘 정의되지 않는다.