'무한집합'이라고 하면 우리는 보통 '셀 수 없이 많은 원소들을 가진 집합'이라고 생각한다. 이 사고가 전적으로 틀렸다고 할 수는 없지만, 그렇다고 해서 완전히 옳은 것도 아니다. 그러나 이 생각은 19세기 후반까지 '전적으로 옳다'고 여겨졌다. 그런데 현대 수학에서는 더이상 무한집합을 '하나씩 세어나가는 방법'으로 다루지 않는다. 무한 집합을 '하나씩 세어나가는 방법'으로 다룰 경우 결국 무한집합의 원소들을 다 셀 수 없는 이상한 현상이 발생하기 때문이다. 이처럼 인간의 능력을 넘어선 성질을 가진 '무한'에 대한 연구는 수학에서 19세기 후반까지도 금기시 됐다.
이 금기에 도전한 수학자가 칸토어(G. Cantor, 1845~1918)이다. 그는 '무한'도 크기를 알 수 있으며 심지어 서로 다른 무한 집합끼리의 크기도 비교할 수 있다고 주장했다. 그러나 시대를 앞서간 칸토어의 통찰은 호된 대가를 치르게 된다. 칸토어의 주장은 당시 수학자들의 격렬한 비난에 직면했고, 결국 그는 정신병원에서 생을 마감한다.
'무한' 개념에 대한 거부감은 학문의 태동기인 고대 그리스 시대에부터 있어왔다. 고대 시대에 무한 개념은 '인간의 한계를 넘어선 신비한 그 무엇'이기 때문에 종교나 명상이라는 깨우침을 통해서만 이해할 수 있는 것으로 취급됐다. 또 한편에서는 '완성되지 않은 불완전한 것'이기 때문에 학문적으로 탐구할 가치가 없는 것으로 치부했다.
무한 개념이 인간의 능력으로는 파악할 수 없는 것으로 받아들여진 것은 무한 집합을 '하나씩 세어가는 방법'으로 접근했기 때문이다. 칸토어 이전까지 수학자들은 무한집합이나 유한집합을 모두 '하나씩 세어나가는 방법'으로 연구했다. 그런데 이런 방법을 사용하면 무한집합은 아무리 애를 써도 원소들을 다 셀 수 없는 '이상한' 집합이 되는 모순에 빠진다.
이 모순을 잘 보여주는 유명한 예가 제논(Zenon, B.C 460년 경)의 '거북이와 아킬레스 경주의 역설'이다. 거북이와 아킬레스가 100m 경주를 한다고 하자. 아킬레스는 출발점에 있고, 거북이는 50m 앞에서 출발한다. 과연 누가 이 경기에서 승리할까? 제논의 주장에 따르면, 아킬레스는 거북이를 결코 추월할 수 없다. 그 이유를 살펴보자. 아킬레스가 50m 지점까지 오는 동안 거북이는 비록 짧은 거리일지라도 어느 정도는 앞으로 나가 있을 것이다. 아킬레스가 다시 거북이가 있었던 지점까지 도달하면 그 사이에 거북이는 다시 조금 앞으로 나아간다. 이 과정이 무한이 반복되기 때문에 아킬레스는 거북이를 영원히 추월할 수 없다. 그러니 이 경주의 승자는 거북이일 수밖에 없다.
이 역설은 무한집합은 결코 유한집합을 다루는 방법으로 접근해서는 안 된다는 것을 잘 보여준다. 무한집합은 유한집합과 본질적으로 다른 특성을 가지고 있다. 그렇기 때문에 무한집합에 대한 탐구는 유한집합을 연구하는 데 사용되는 '하나씩 세어나가는 방법'을 사용해서는 안 된다. 제논의 '거북이와 아킬레스 경주의 역설'도 하나씩 세어나가는 방법이 아니라 '무한급수의 수렴'이라는 방법으로 풀어야만 한다.
그렇다면 무한집합은 본질적으로 유한집합과 무엇이 다를까? '힐베르트의 호텔'의 예는 무한집합의 본질을 잘 보여준다. 힐베르트(D. Hilbert, 1862~1943)는 20세기 가장 훌륭한 수학자 중의 한 명으로 현대 수학을 정립하는 데 많은 기여를 했다. 무한 개의 객실을 가진 호텔이 있다고 가정해 보자. 이 호텔의 모든 객실에는 손님들이 들어있다. 그런데 새로운 손님 한 명이 이 호텔에 찾아왔다. 만약 이 호텔의 객실이 유한 개라면 새로운 손님은 호텔에 묵을 수 없다. 하지만 이 호텔은 무한 개의 객실을 가지고 있기 때문에 이 새로운 손님은 이 곳에서 묵을 수 있다. 해결 방법은 간단하다. 첫 번째 객실에 투숙하고 있던 손님을 두 번째 객실에 이동시키고 두 번째 객실의 손님은 세 번째 객실로 이동시키고, 세 번째 손님은 네 번째 객실로 이동시키고…. 이렇게 모든 손님을 다음 번 객실로 이동시키면 결국 첫 번째 객실이 비게 돼 새로운 손님은 어렵지 않게 호텔에서 묵을 수 있다.
이번에는 좀 더 까다로운 문제를 생각해보자. 무한 수의 손님들이 새로 이 호텔에 찾아왔다. 이 호텔은 무한 수의 손님들을 받을 수 있을까? 답은 '그렇다'이다. 해결방법은 간단하다. 이미 이 호텔에 투숙해 있는 손님들에게 자신들이 묵고 있는 객실 번호에 2를 곱한 방으로 가달라고 부탁한다. 그렇게 하면 홀수 번호를 가진 무한개의 객실이 비게 된다. 새로 찾아온 무한 수의 손님들도 별 문제없이 홀수번호의 객실에 묵을 수 있다.
이것이 바로 무한 집합의 본질이다. 무한집합에 아무리 많은 원소들을 더한다고 해도 원래 무한집합의 원소의 개수는 변하지 않는다. 그런데 이 말이 사실 전적으로 옳은 것은 아니다. 정확하게 말하자면 무한 집합에 '셀 수 있는 원소'를 더해도 무한집합의 크기는 변하지 않는 성질을 가지고 있다. 예를 들어 자연수 집합이라는 무한 집합에 원소를 하나를 더하든, 100개의 원소를 더하든, 자연수 집합 전체의 원소들을 다시 한 번 더하든, 이 집합의 원소의 '개수'나 '크기'는 변하지 않는다. 심지어 짝수 집합의 원소의 개수와 짝수 집합에 자연수를 더한 집합의 원소의 개수는 같다. 조금은 이상하게 들리는 이런 사실들은 어렵지 않게 증명되며 현대수학에서는 이를 당연하게 받아들인다. 그러나 이 당연한 사실을 가장 먼저 증명한 한 명의 천재 수학자는 정신병원에서 생을 마감했다. 우리는 이 일화를 통해 천년 이상 유지된 인간들의 사고를 바꾸는 일이 얼마나 어려운지를 알게 된다.
