Ai 업계와 수학계의 오정렬

테렌스 타오가 이번에 AI 프론티어 기업들에 대해 제기된 비판 성명의 취지를 해설한 글입니다.

해당 비판 성명에는 여러 필즈상 수상자와 수학계의 권위자들이 참여했습니다. AI 프론티어 기업들의 모델 발전을 수학계가 상당히 진지하게 바라보고 있다는 증거라고 생각합니다.

최근에는 AI 프론티어 모델이 나비에-스톡스 밀레니엄 문제를 풀었다는 발표까지 나왔습니다. 또한 수학과 박사급 이상의 지인들에게 물어봐도, 물론 세부 분야에 따라 차이가 있지만 난제급이 아닌 문제들은 AI가 상당히 깔끔하게 풀어준다는 이야기를 듣습니다. 불과 5년 전에는 “5+7이 얼마냐”와 같은 단순한 문제에서도 신뢰하기 어려웠던 것을 상기해보면, 발전 폭은 매우 가파릅니다.

타오의 글에는 여러 흥미로운 논점이 있지만, 가장 재미있는 출발점은 **“문제 해결은 프록시다”**라는 주장입니다.

“But solving problems is only a tool and proxy for achieving the primary goal of conceptual understanding and insight.”

즉 수학계에서 난제 풀이 자체가 primary goal은 아니라는 것입니다. 수학계는 난제를 푸는 과정을 통해

  1. 수학에 대한 이해와 직관을 발전시키고,
  2. 다음 세대의 수학자를 양성해왔습니다.

그런데 최근 AI 프론티어 기업들이 난제 풀이를 자사 AI 모델의 일종의 트로피로 사용하면서, 기존 수학계가 작동해온 방식에 상당한 부정적 외부효과를 끼치고 있다는 것이 이번 성명의 핵심적인 비판으로 읽힙니다.

깃허브 Staff Engineer인 션 고데케는 이를 일종의 굿하트의 법칙과 유사한 문제로 해석합니다. 원래 난제 해결은 수학적 이해와 통찰을 측정하는 좋은 프록시였는데, AI 기업들이 그 프록시 자체를 직접 최적화하기 시작했다는 것입니다.

여기까지는 수학계가 가진 고민을 타오가 명료화해준 것으로 보입니다. (개인적으로 타오가 이렇게 명료화해서 전달해주는 것에 상당히 도움을 받고 있습니다.) 하지만 저는 다음과 같은 의문이 들었습니다.

수학계의 사정을 AI 회사들, 나아가 우리 사회가 진지하게 고려할 필요가 있을까?

여기서 말하는 “진지한 고려”란 단순히 수학계의 우려를 경청하는 정도를 뜻하지 않습니다. 정부나 국회 등 권력을 가진 주체의 개입, 혹은 법원의 판단과 같이 사회가 실질적인 힘을 직간접적으로 사용하여 AI 기업과 수학계의 이해관계를 정렬하는 것(물론 타오가 이를 명시한 것은 아닙니다.)을 의미합니다. 저작권처럼 이미 존재하는 법체계 내부에서 충돌하는 문제는 일단 제외하겠습니다.

사실 기술 발전이 특정 업계의 기존 관행이나 이해관계와 충돌하는 것은 이번이 처음이 아닙니다. 체스나 바둑을 생각해볼 수 있습니다. AI의 등장으로 인간이 수십 년 동안 쌓아온 정석과 오프닝 이론의 권위가 흔들렸고, 프로 기사들의 훈련 방식도 크게 바뀌었습니다. 인간의 문제 해결 능력 역시 더 이상 해당 분야에서 최고 수준을 대표하지 못하게 되었습니다. 하지만 이때 체스계와 바둑계는 주로 내부적으로 적응했습니다. 알파고를 만든 딥마인드에 자신들의 이해관계에 맞게 행동해달라고 사회적 강제력을 동원해 요구하지는 않았습니다.

그렇다면 왜 수학은 이와 다른 특별한 지위를 가져야 할까요? 여기에 대해서는 조금 더 설명이 필요해 보입니다.

수학계는 사회의 공공재인 지식을 생산하는 학문 공동체입니다. 만약 기존 수학계의 관행을 보호해야 하는 이유가 단지 수학자들의 직업적 이해관계 때문이라면, 바둑기사나 택시기사와 본질적으로 다르다고 보기는 어렵습니다. 그러나 수학계가 장기간 축적해온 지식과 연구 역량이 다른 과학·기술 분야가 의존하는 공공적 지식 인프라라면 이야기가 달라질 수 있습니다. 이 경우 문제는 특정 직업집단의 보호가 아니라 사회 전체의 지식 생산능력에 관한 문제가 됩니다.

그렇다면 사회의 공통 자산으로서 수학 공동체의 효용은 무엇일까요? 이번 논의와 관련해서는 세 가지로 나누어 보는 것이 유용해 보입니다.

  1. 다른 분야와 사회 전체에 유용한 수학적 난제 해결 능력
  2. 연구 의제 설정
  3. 교육을 통한 학문 공동체의 재생산

각각에 대해 AI가 어떤 영향을 미칠지, 그리고 AI 기술의 발전으로 수학 공동체가 가진 고유한 가치가 실제로 침해받는지를 생각해볼 수 있습니다.

1. 수학적 난제 해결 능력

수학적 난제 해결 능력은 앞으로도 큰 사회적 가치를 가질 수 있습니다. 다만 AI의 성장이 매우 가파른 현재 상황을 고려하면, 이 능력이 앞으로도 인간 수학 공동체만의 고유한 가치로 남을 것이라는 전망의 기반은 그리 단단해 보이지 않습니다. 따라서 여기서는 2와 3에 좀 더 집중해보겠습니다.

2. 연구 의제 설정

우선 앞으로 상당 기간 AI가 연구 의제 설정에서 큰 역할을 하지 못한다고 가정해보겠습니다. 여전히 “AI에게 어떤 문제를 풀게 할 것인가”를 정하는 것은 인간의 역할이라고 보는 것입니다. 그렇다면 공공 자산으로서의 가치를 논하는 맥락에서는 무엇이 의미 있는 연구 주제 설정인지 생각해봐야 합니다.

수학자들만 관심을 가지는 순수수학의 주제는 이 맥락에서는 상대적으로 우선순위가 떨어질 수 있습니다. 오히려 여러 응용 분야에서 반복적으로 나타나는 문제들의 공통점을 찾아내고, 이를 추상화하여 수학적 연구 의제로 만드는 일이 더 직접적인 사회적 의미를 가질 것입니다.

저는 이 연구 의제 설정을 다시 두 부분으로 나눌 수 있다고 생각합니다.

2a. 어떤 현실 문제가 중요한지를 고르는 것

2b. 그 문제를 어떤 수학적 문제로 만들지를 결정하는 것

2a. 어떤 현실 문제가 중요한지를 고르는 것

이 역할은 상당 부분 도메인 전문가가 담당합니다. 유체역학자가 유체의 문제를 발견하고, 통신공학자가 신호처리의 병목을 발견하며, 물리학자가 물리계에서 이상한 현상을 발견하고, 컴퓨터과학자가 새로운 계산 문제를 만들어냅니다. Navier-Stokes 문제 역시 “수학자가 순수하게 재미있어서 만들어낸 문제”라기보다, 유체역학이라는 현실의 이론에서 출발한 PDE가 중요한 수학적 난제로 발전한 사례에 가깝습니다.
즉 사회적으로 중요한 현실 문제를 발견하는 역할은 애초부터 상당 부분 수학 공동체의 독점적인 역할이 아니었습니다.

2b. 그것을 어떤 수학적 문제로 만들지를 결정하는 것

여기서는 수학자의 역할이 컸습니다. 수학자는 현업의 문제 하나를 그대로 해결하는 데 그치지 않고,

“이 문제는 사실 특정 PDE class의 regularity 문제다.”

와 같은 방식으로 재사용 가능한 abstraction으로 바꿉니다.

도메인 전문가가 찾아낸 현실의 문제 속에서 숨겨진 수학적 구조를 찾아내고, 이를 다른 문제에도 적용할 수 있는 일반적인 형태로 추상화하는 역할을 전통적으로 수학자가 수행해왔다고 볼 수 있습니다.

다만 저는 2b가 2a보다 AI로 대체되기 쉬운 영역이라고 생각합니다. 2b는 현재 문제가 되는 현상과 유사한 수학적 이론을 탐색하고, 어떤 세부사항은 무시해도 되는지 판단하고, 여러 형태의 정식화에 대해 피드백을 주고받으면서 문제를 개선하는 과정입니다. 상당히 엔지니어링적인 반복 과정과 유사한 면이 있습니다.

따라서 장기적으로는 domain expert + AI 의 조합이 기존 수학 공동체가 수행하던 이 역할의 상당 부분을 대체할 가능성이 있다고 봅니다.

3. 교육을 통한 학문 공동체의 재생산

이 부분은 아마 타오의 글에서 가장 약한 고리라고 생각합니다. 기존 수학자들이 난제 풀이를 통해 다음 세대의 수학자를 양성하는 전통을 발전시켜온 것은 사실입니다. 하지만 그것은 당시 존재하던 사회적·기술적 환경에 맞추어 최적화된 교육 수단이지, 불변적인 무엇인가는 아닙니다.

AI로 인해 기존의 문제 풀이 방식이 더 이상 적절한 훈련 수단이 되지 않는다면, 현시대의 기술 변화에 맞추어 학문 공동체를 재생산할 새로운 방법을 찾을 책임은 기본적으로 그 학문 공동체에 있다고 생각합니다. 바둑기사와 체스기사들이 AI의 등장 이후 자신들의 학습체계를 정비한 것과 비슷합니다. 기존 정석과 인간 분석만으로 훈련하던 방식이 더 이상 최적이 아니게 되자, 기사들은 AI를 이용해 새로운 정석을 학습하고 기존의 훈련 방식을 수정했습니다.

수학자들도 마찬가지로 새로운 답을 찾을 수 있을 것이라고 생각합니다.

결론

1, 2, 3을 종합해보면, 인간 수학 공동체가 사회의 공통 자산으로서 가지고 있던 고유한 가치 가운데 상당 부분은 앞으로 AI에 의해 약화되거나 대체될 가능성이 있습니다. 수학계가 사회적 개입을 요구할 만큼 특별한 보호를 받을 이유가 있다면, 그것은 단순히 기존 연구 관행이나 수학자라는 직업을 보존해야 하기 때문이어서는 부족합니다. AI 시대에도 인간 수학 공동체가 사회 전체에 제공하는, 다른 방식으로는 쉽게 대체할 수 없는 공공적 가치가 무엇인지를 조금 더 구체적으로 설명할 필요가 있어 보입니다.

7개의 좋아요

좋은 글 감사합니다. 제 주변에는 수학을 전공하는 대학원생이 여럿 있고, 최근 AI의 수학적 성과를 보여 다들 밥벌이를 걱정하고 있습니다 ㅋㅋ. 저도 (고작 학부긴 하나) 수학을 전공하여 최근 이슈에 생각이 많았던 터라, 나름의 의견을 개진해 보고자 합니다.

(1)
제가 이해한 vk8520님의 논증은 이렇습니다. 수학 공동체의 사회적 효용은 1. 난제 해결 2. 연구 의제 설정 3. 공동체 재생산이다. 그런데 1이 인간 고유의 능력으로 남을 근거는 약하고, 2는 도메인 전문가와 AI가 협업해 맡을 것이며, 3은 바둑, 체스처럼 수학 공동체가 스스로 적응할 문제다. 따라서 수학계가 특별한 보호를 요구할 좋은 근거는 제시되지 않았다.

저는 수학 공동체의 공공적 가치가 무엇이 좋은 문제, 추상화, 정의, 증명인지를 판단, 축적, 전승하는 데 있다고 주장합니다. 이는 수학자 서스턴의 On Proof and Progress in Mathematics 와 수학자 타오의 What is good mathematics? 를 참조한 것입니다.

(2)
AI의 난제 도전을 굿하트의 법칙으로 읽는 것은 피해의 절반만 설명합니다. 난제는 수학 발전의 지표인 동시에 원천이기 때문입니다. 5차 방정식의 일반해가 없음을 증명하려는 시도가 군론을 낳았고, 페르마의 마지막 정리의 증명은 대수적 수론과 타원곡선 이론으로부터 나왔으며, 그 기법은 해당 분야의 표준이 되었습니다. 반대로 4색 정리의 brute force 컴퓨터 증명은 옳았지만, 아무것도 설명하지 않았기에 당대의 불만을 샀습니다.

난제에 걸린 명성은 공동체의 노력을 끌어당기고 수학의 발전을 추동합니다. 그러나 AI가 먼저 푼 문제는 더 이상 명성을 주지 않습니다. 지금은 수학자들이 AI 증명을 읽고 아이디어를 건져내려 하지만 AI 증명이 많아질수록 이는 어려운 작업이 됩니다.

(3)
vk8520님은 의제 설정을 2a(어떤 현실 문제가 중요한가)와 2b(그것을 어떤 수학 문제로 만들 것인가)로 나누고, 2b를 엔지니어링적 반복으로 봅니다. 그런데 이 분류는 의제 설정이 현실 문제에서 출발한다는 전제가 정당할 때만 성립합니다.

역사는 다른 사례를 보여줍니다. 리만 기하학은 일반 상대론 이전에, 힐베르트 공간 이론은 양자역학 이전에 있었고, 하디가 쓸모없어 다행이라던 정수론은 암호론의 기반이 되었습니다. 현실 문제가 이론을 낳은 것이 아니라 수학 내적 동기로 완성된 이론을 나중에 현실 문제가 찾은 것입니다.

해당 전제를 받아들인다 해도 2b는 더 복잡한 일입니다. 압축 센싱은 MRI 문제에서 출발했으나 캉데스, 타오, 도노호가 일종의 특수한 역문제(inverse problem)으로 재정식화 한 뒤에 천문학과 유전체학으로 퍼졌습니다. 진동체의 고유진동수, 양자계의 에너지 준위, 마르코프 연쇄의 정상분포, 주성분 분석이 모두 선형 작용소의 고윳값 문제라는 것을 알아보는 일은 어느 도메인에도 속하지 않습니다. 도메인 전문가는 자기 도메인을 보고, 이것들이 하나라고 말하는 것은 별개의 전문성이며, 역사적으로 그 일을 한 사람들은 '수학자들만 관심 갖는' 순수수학자였습니다. 이것이 수학이 바둑과 달리 공공 인프라인 이유라고 저는 생각합니다.

(4)
그러면 AI가 이 판단을 할 수 있을까요. 여기서 행해지는 일은 '이것은 어떤 문제다'는 진위 판단에 더해 '이것이 앞으로 쓸모 있을 것인가'라는 가치 판단이고, 그 쓸모는 수십 년 뒤 그 위에 무엇이 생겨나는지로 사후에 확정됩니다. 그로텐디크의 스킴 개념은 당대에 지나치게 추상적이라는 평을 받았지만 베유 추측과 모듈러성 정리가 만들어진 뒤에 좋은 정의임을 인정받았습니다. 이런 판정은 번복되기도 합니다. 그라스만의 확장론은 수십 년 간 무시되었으나 선형대수학의 기초로 복권되었고, 해밀턴의 사원수는 벡터 해석에 밀려 폐기되고 한 세기 뒤 3차원 회전의 표준 도구로 돌아왔습니다.

바둑은 목적함수(승리)가 외생적으로 고정되어 있고 평가가 즉각적입니다. 수학에도 Lean이 있지만, Lean은 알파고가 아니라 규칙 검사기입니다. 증명이 옳은지는 확정해주되 이 정의가 좋은지, 이 문제가 풀 가치가 있는지는 판정하지 않습니다. 가치가 미래에 의해 정의되는 한,확정적 판정 도구는 원리상 존재할 수 없고, 저는 이것을 일종의 해석학적 순환이라 부르고 싶습니다.

물론 이 한계는 인간에게도 같습니다. 그러니 진짜 질문은 '판단을 갱신하는 피드백 루프가 인간 공동체 없이도 돌아가는가'입니다. 저는 어떤 좋은 근거를 제시할 수는 없지만 그렇지 않을 것이라 생각합니다.

(5)
후학 양성 방식이 당시 환경에 맞춘 수단일 뿐이고 새 방법을 찾을 책임은 공동체에 있다는 데는 원칙적으로 동의합니다. 그러나 파괴의 메커니즘은 꽤나 구체적입니다. 후학은 난제는 아닌 문제, 즉 교과서 연습문제, 시험 문제, 지도교수가 '이건 네가 해봐라'하고 건네는 문제를 풀며 성장합니다. 그런데 지금은 그런 문제는 AI가 전부 풀어줄 수 있습니다. 체스 퍼즐은 엔진이 다 풀어도 훈련 가치가 남지만, 수학이 체스와 다른 것은 훈련용 문제가 곧 학위논문과 첫 논문과 임용 실적이기 때문입니다.

수학계가 손을 놓고 있는 것은 아니고, 실제로 새로운 교육 방법이 시도되는 것으로 알고 있습니다. 문제는 AI는 월 단위로 바뀌는데 교육과 임용 제도는 연 단위로 바뀐다는 것이고, 이 시차가 한 번 벌어지는 순간 나타나는 세대의 공백은 오래 영향을 미칠 것입니다.

(6)
마지막으로, 가치 판단까지 인간보다 잘하는 일종의 초지능이 온다면 외재적 가치라는 프레임은 소진되고 질문은 달라질 것입니다. 이해하지 못한 채 외부에서 흘러나오는 지식을 사용하기만 하는 상태를 인간 공동체가 받아들일 수 있는가. 그 질문에 저는 답이 없습니다.

6개의 좋아요