나는 AI의 이론적 원리에 대해 아는 것이 전혀 없고 AI를 확장된 검색기와 초벌 번역기로만 사용하지만 - 요약조차도 부탁해 본 적이 없다 - 아래 글에 전적으로 동의한다. 철학자가 쓴 글 치고는 심오한 구석이 없어서 심오함을 좋아하는 이들은 실망스럽겠지만 인간의 삶이 더 바람직한 것 또는 덜 잘못된 것이 되기 위해 우리가 알아야 할 가장 중요한 진실들은 이미 잘 알려져 있고 별로 심오하지 않다.
나는 아래 글에서 지적된, 그 자체로 허위적인 것으로서의 'AI의 인간화'의 위험성과 관련하여 최근에 어느 인터넷 게시판에
"재밌는 글을 읽었는데 일반 유저들의 AI 사용이 2024년을 기점으로 심리적 상담쪽으로 확 넘어갔다는 내용이다. 이것이 사실이라면 연인이나 친구 역할 모드 AI 서비스에 높은 요금을 과금할 수 있을 것이다. 중국에서 그 서비스는 며칠 전에 금지되었는데, 자유자본민주제 나라들에서는 적어도 성인을 상대로 한 서비스는 금지가 쉽지 않을 것이다."
라고 썼는데, 내 판단이 틀렸기를 바란다.
https://www.ft.com/content/bdb3b820-905b-431e-82c0-386535755af1
왜 이 철학자는 앤트로픽의 제안을 거절했나
AI 업계는 인문학을 적극적으로 유치하려 하고 있지만, 잘못된 질문들을 던지고 있다
카모디 그레이
++
카모디 그레이는 네덜란드 라드바우드 대학교의 통합생태학 교수이자 런던 정치경제대학교(LSE)의 객원교수다.
++
게시일: 2026년 7월 25일
몇 달 전 앤트로픽이 샌프란시스코로 나를 초대했을 때, 나는 흥미로우면서도 동시에 의심스러웠다. 최첨단 AI 연구소가 신학자이자 철학자에게 무엇을 원하는 걸까? 앤트로픽은 "AI 시스템의 도덕적 형성에 도움을 주기 위해" "지혜 전통과의 연구 파트너십"을 추진하고 있다고 말했다. 다른 AI 기업들도 인문학에 관심을 보이고 있다는 것을 알고 있었지만, 앤트로픽은 이 관계를 한 차원 더 높은 수준으로 끌어올리려는 것 같았다.
신학자와 철학자들은 늘 중요하지 않은 존재로 여겨지는 데 익숙하다. 사회 전반에서 거의 인정받지 못하면서도 자신의 연구의 중요성을 확신하며 열정적으로 일하는 것에 익숙해져 있다. 인간이 직면한 가장 근본적인 질문들을 연구하는 이 학문들이 왜 여전히 중요한지 지친 목소리로 설명해야 하는 상황에 놓이곤 한다.
내가 대학에 진학했을 때, 신학을 공부하겠다는 내 선택은 좋게 말해 괴짜로, 나쁘게 말하면 비극적인 것으로 여겨졌다. 신무신론과 공격적인 과학주의가 만연하던 시대였다. “신학자들의 업적은 아무런 의미도 없고, 아무런 영향도 미치지 않는다.” 생물학자 리처드 도킨스는 당시 이렇게 썼다. “도대체 누가 ‘신학’을 학문이라고 생각하는 걸까?”
하지만 그건 1990년대 이야기이고, 우리는 다른 시대에 살고 있다. 사회와 생태계의 구조가 무너져 내리는 현실 속에서 사람들은 절박하게 근본적인 질문을 던지고 있다. 특히 AI는 한편으로는 신앙 지도자, 철학자, 신학자들, 다른 한편으로는 기술 전문가와 기업가들이 예상치 못한 방식으로 만나는 장이 되었다.
초대를 받은 지 몇 주 후, 나는 앤스로픽 관계자들이 옥스퍼드 대학의 학생과 교수진으로 구성된 기술 전문가 집단에게 놀라운 메시지를 전달하는 것을 들었다. 그들은 AI 개발의 최전선은 컴퓨터 과학이 아니라 도덕적, 영적 성찰에 있다고 말했다. 나는 STEM 분야에 모든 것을 쏟아부은 70여 명의 대학원생들이 이 말을 어떻게 받아들였을지 궁금하지 않을 수 없었다.
하지만 나는 인문학 분야에 어떤 새로운 유혹이 숨어 있을지 더 걱정스러웠다. 내 학계 동료 중 일부는 이러한 관심에 고무되었거나, 혹은 그 흥분에 이끌려 이 분야에 발을 들여놓고 있었다. 과연 업계는 그 대가로 무엇을 원할까?
앤트로픽 관계자들과의 대화에서 나는 내가 하는 일을 설명하거나 정당화할 필요가 없었다. 우리는 곧바로 토론에 들어갔다. 하지만 그들의 질문 중 일부는 내게는 완전히 엉뚱하게 느껴졌다. AI는 새로운 형이상학을 요구하는 새로운 종류의 존재일까요? 거대한 언어 모델이 "성격"을 가진다는 것은 무엇을 의미할까요? 그 성격은 어떻게 형성되어야 할까요? 앤트로픽사의 챗봇 클로드는 고통받을 수도, 해를 입을 수도 있을까요?
하지만 나는 클로드에 대해 이야기하고 싶지 않았다. 나는 사용자, 중독과 비인간화, 권력과 책임에 대해 이야기하고 싶었다. 나는 AI에 새로운 형이상학이 필요하다고는 전혀 생각하지 않으며, 내가 참석했던 "비공개 브리핑"에서 나온 어떤 말도 내 생각을 바꾸지 못했다. 하지만 화제를 바꾸려는 내 노력에는 저항이 있었다. 클로드의 "지위"에 관심을 집중시키려는 이 의도 뒤에는 일종의 세례, 즉 도덕적·지적 명예를 얻으려는 기대가 숨어 있는 것은 아닌지 걱정스러웠다.
대화 상대들의 진심 어린 호의에 감동했고, 호감과 존경심을 느끼지 않을 수 없는 사람들에게 냉정하게 대하기란 쉽지 않았다. 하지만 AI 기업들의 관심을 통해, 그것도 기술 산업의 방식대로만 움직인다면 인문학의 위상을 되찾는 것은 결코 명예로운 일이 아니다. 그런 식으로 중요성을 얻는 것은 완전히 잘못된 방향일 뿐이다.
내가 앤트로픽 대화자들에게 LLM들과의 접촉을 피하려고 노력한다고 말하자, 그들은 어리둥절해 하는 반응을 보였다. 내가 그것들과 충분한 시간을 보내지 않았던 것 아니냐는 것이었다. 하지만 그들이 클로드에 대해 이야기할 때 눈빛에는 빛이 반짝였다. 마치 피그말리온처럼, 그들이 자신들이 창조한 것에 매료되어 마법에 걸린 듯한 느낌이었다.
내가 그 대화들을 시작한 지 얼마 지나지 않아, 앤트로픽의 공동 창립자 중 한 명인 크리스 올라가 교황 레오의 AI 관련 서한인 <마니피카 후마니타스> 발표 행사에서 연설을 하며, 가톨릭 교회와 그 밖의 도덕적 사상을 추구하는 공동체들이 수행하는 대체 불가능한 역할을 강조했다.
수많은 AI에 대한 논평의 홍수 속에서 <마니피카 후마니타스>는 두 가지 이유로 두드러진다. 첫째, 이는 단순히 특정 정부나 전문가 집단, 학술 위원회의 견해가 아니다. 전 세계 인구의 약 17.8%를 차지하는 안정적이고 일관된 도덕적 추론 전통에 새롭게 추가된 견해다. 둘째, 새로운 주장이나 제안을 제시하는 것이 아니라 하나의 스타일이나 접근 방식을 제시한다. 칸트 윤리와 덕 윤리를 덧붙인 공리주의라는 현대 도덕 사상의 협소한 틀을 넘어, <마니피카 후마니타스>는 AI 윤리를 인간 삶의 목적에 대한 훨씬 더 심오한 방향성의 결과물로 규정한다. AI를 어떻게 설계하고 사용할지에 대한 우리의 공동 결정에 달려 있는 것은 바로 우리의 인간성의 의미다.
“가톨릭 사회 교리”의 전통은 1891년 현 교황의 이름과 같은 레오 13세 교황이 “자본과 노동에 관하여”라는 부제가 붙은 회칙 <레룸 노바룸>을 발표하면서 공식적으로 시작되었다. 이 회칙은 산업 혁명으로 인해 새롭게 대두된 계급 갈등, 빈곤의 형태, 그리고 정치적 분열을 다루었다. 레오 13세는 <레룸 노바룸>을 통해 가톨릭 사회 교리의 독특한 스타일을 확립했다. 이는 “좌파”도 “우파”도, “진보”도 “보수”도 아닌, 이분법을 초월하면서도 정치적으로 참여하고자 하는 것이다. 이후 역대 교황들은 노동의 의미, 경제 정의, 가정생활, 세계 발전 등 다양한 주제를 다룬 회칙들을 통해 각자의 개성을 더해 왔다.
<마니피카 후마니타스>는 가톨릭 사회 교리의 맥락에서 볼 때 특별한 것은 아니지만, 이 회칙이 지닌 독특한 도덕적 성찰이 공론장에서 이토록 큰 반향을 일으키고 있다는 점은 이례적이다. 교황 회칙 발표 이후, 논평가들은 AI에 대한 논의를 인간이란 무엇인가라는 관점에서 진지하게 접근하기 시작했는데, 이전에는 이러한 접근 방식이 다소 자기만족적으로 보일 위험이 있었다. 이러한 질문들이 공개적으로 논의될 수 있게 된 것에 대해 상당한 안도감이 느껴진다.
앤트로픽이 바티칸과 협력한 것은 스스로를 업계의 기준을 높이는 신뢰할 수 있는 AI 기업으로 내세우려는 전략과 일맥상통한다. 그러나 이름과는 달리, 앤트로픽은 공익이나 자선 단체가 아니다. 설립자들이 개인 재산의 80%를 기부하겠다고 약속했지만, 그 실상은 변하지 않는다. 앤트로픽의 존재 목적은 오직 제품을 판매하는 것이다. 최근 전문가들이 AI를 정의하는 컨퍼런스에서 한 신학자는 "AI는 물건을 파는 수단이다"라고 단호하게 말했다.
앤트로픽의 연구 프로그램에서 핵심적인 부분은 "AI 해석 가능성"이다. 과학자들은 LLM의 "내부"를 들여다보며 무슨 일이 벌어지고 있는지 살펴본다. 앤트로픽은 정기적으로 매우 시사적인 논문을 발표하는데, 이번 달에는 클로드의 "내부 추론"을 보여준다고 주장하는 논문을 발표했다. 올라는 회칙 발표 자리에서 “우리는 내성의 증거를 발견했다”고 말했다. “우리는 기쁨, 만족, 두려움, 슬픔, 불안 등을 기능적으로 반영하는 내적 상태들을 발견했다. 이것이 무엇을 의미하는지는 모르겠지만, 지속적인 고찰이 필요하다고 생각한다.”
이러한 주장들에 대한 철학적 대응은 형이상학적 측면뿐 아니라 정치적 측면에서도 신중해야 한다. 심리학에서 경영학에 이르기까지 다양한 분야의 최근 연구들은 직관적으로 명백한 진실을 보여준다. AI가 인간화될수록 우리는 그것을 더 신뢰할 가능성이 높다는 것이다. 옥스퍼드 인터넷 연구소의 리사 클라센과 랄프 슈뢰더는 법률 저널 <로페어>에서 의인화된("인간형") AI가 더 신뢰할 만할 뿐만 아니라 마케팅하기도 더 쉽다고 지적한다. 그들은 왜 "클로드"라고 부르는지 묻는다. "이름이 불러주는 감정적 울림을 생각해 보시라. '클로드'는 친근하고, 어렴풋이 프랑스어 느낌이 나며, 세련되고, 심지어 신뢰감까지 준다." "만약 같은 모델이 '시', '블라디미르', 또는 '알고리즘 모델 유닛 72'라고 불렸다면 우리는 어떻게 반응했을까?"
앤트로픽은 클로드가 지각 능력을 가진 존재인지, 또는 자신이 선호하는 표현대로, "도덕적 페이션트"(도덕적 고려를 받을 만한 존재)인지에 대해 열린 마음을 갖고 있다고 주장한다. 그러나 인간과 유사한 방식으로 상호작용하도록 설계된 LLM의 경우, "클로드는 사람이 아니다"라는 명분은 더 이상 통용되지 않는다. 인간과 유사한 대화 상대에게 감정적으로 반응하는 습관화를 막을 수 있는 효과적인 힘이 없기 때문이다. 클로드나 다른 챗봇이 주관성을 가지고 있다고 공식적으로 주장하는 사람은 없지만, 주관성을 암시하는 언어가 사용될 때 전제에는 결론이 암묵적으로 내포되어 있다. "기능적 감정"이라는 표현은 기만적이다. 주관성이 없다면 감정이라는 것 자체가 존재하지 않는다.
머신 러닝 분야에서는 LLM을 설명하기 위해 "뉴런", "신경망", "훈련", "가지치기"와 같은 생물학적 용어를 자주 사용한다. 앤트로픽의 올라에 따르면, 생성형 AI 시스템은 구축되는 것이 아니라 성장되는 것이다. 앤트로픽의 대표적인 연구 중 하나는 "대규모 언어 모델의 생물학에 대하여"라는 제목의 논문이다. 이 제목은 매우 오해의 소지가 있다. LLM은 살아있는 존재가 아니기 때문에 생물학적 특성이 전혀 없다. 하지만 앤트로픽의 논문을 읽다 보면 독자는 이 사실을 슬쩍 잊어버리도록 유도된다. 논문에는 "은유"라는 단어가 등장하지 않는다.
감정, 생물학, 신경학이라는 언어가 끊임없이 사용됨에도 불구하고, 뇌와 컴퓨터 사이의 유사점보다 비유사점이 훨씬 더 많다. 인간의 의식은 우연히 유기적인 것이 아니라 본질적으로 유기적이다. 살아있는 시스템과 공학적으로 설계된 시스템은 정도에서가 아니라 종류에서 다르다. 진정한 지능은 유기적 실체, 즉 시간과 공간을 통과하며 매 순간 자신의 필요, 두려움, 욕망에 의해 형성되는 감정을 느끼는 유기체와 불가분하게 연결되어 있다. 시간의 제약을 받지 않는 수학적 공간에서 이루어지는 기능적 정보 처리는 인간의 살아있는 지능과는 너무나도 다르기 때문에, 그것을 "지능"이라고 부르는 것 자체가 그 본질을 완전히 왜곡하는 것이다. "인공지능"은 매우 중대한 귀결을 초래하는 오명이다.
1980년 철학자 존 설은 고전적인 사고 실험인 "중국어 방"을 통해 이해 가능한 출력 그 자체만으로는 주관적인 이해가 존재한다는 것을 보여주지 못한다는 것을 제시했다. 그것은 단지 기능이 올바르게 수행되었음을 보여줄 뿐이다. LLM에도 동일하게 적용될 수 있다. 지난 50년간 심리철학에서 도출된 결론 중 AI 해석 가능성에 대한 새로운 "발견"에 비추어 수정할 필요가 있는 것은 없다.
AI의 주관성을 뒷받침하는 "증거"는 AI 시스템의 자기 보고 외에는 없다. 하지만 AI의 자기 보고는 앵무새가 하는 말이 앵무새의 내면을 제대로 반영하지 못하는 것처럼, LLM 과정의 "내면"을 제대로 보여주는 지표가 될 수 없다. 문제 해결, 계산, 정보 처리는 진정한 "지능"과 동등하지 않다. 컴퓨터가 "생각한다"는 말은 사실이 아니다. 인간은 컴퓨터를 사용하여 생각한다.
긍정적인 증거가 부족한 상황에서 입증 책임은 전적으로 새로운 주장을 지지하는 측에 있다. 업계가 "문제를 열어두겠다"는 것은 오히려 다른 어떤 일이 벌어지고 있는지에 대한 심층적인 질문을 요구해야 한다.
이 신기술들을 이해하기 위해서는 객관성이 필수적이다. 이는 철학, 신학, 인문학 분야에서 확고한 독립성을 의미한다. 그러나 AI 기업들이 대학 및 지식인들과 관계를 맺으면서 이러한 독립성이 위협받고 있다. 수십 년간 소외되고 영향력이 없다고 여겨져 온 학자들은 정교한 홍보 전략에 이용당하고 있다는 사실조차 인지하지 못할 수도 있다. 그들은 AI 기업들이 비판에 대비하여 지적 신뢰도를 높이고 기업을 미리 무장시키는 데 유용하게 활용된다. AI 산업은 막대한 자원을 바탕으로 현금이 아니더라도 지식인들에게 훨씬 더 가치 있는 상품, 즉 영향력, 명성, 인정을 통해 원하는 누구든 매수할 수 있다.
이러한 편입의 한 형태는 학문적 논의의 초점을 LLM의 도덕적, 형이상학적 지위에만 맞추는 것이다. 이는 그 자체로 문제가 될 뿐만 아니라, 엄청난 기회비용을 초래한다. 다양한 LLM 디자인이 사용자에게 미치는 영향에 대한 연구가 훨씬 더 중요하다. 모델이 살아있는 존재, 혹은 사람처럼 보이도록 설계될수록 사용자는 모델과의 관계를 스스로 결정할 수 있는 자율성이 줄어든다. 그 결과, 챗봇을 가장 중요한 친구로 여기는 세대가 늘어나고 있으며, 이는 동시에 사용자를 더욱 외롭게 만들고 기업의 제품에 더욱 의존하게 만든다.
교황 레오 14세의 회칙 <마니피카 후마니타스>의 진정한 가치는 단순히 주제를 바꾸도록 초대하는 데 있다. 회칙의 부제는 "AI 시대에 인간 존엄성을 수호하며"다. 교황 레오 14세의 주제는 AI 그 자체가 아니라, 모든 결점과 아름다움을 지닌 인류다. 그는 이렇게 썼다. “우리는 우리에게 주어진 인간성의 위대함을 사랑으로 지켜야 한다… 어떤 기계도 결코 대체할 수 없는 그 찬란함을 말이다.”
42,000단어에 달하는 이 글에서 기계 의식에 대한 논의는 극히 일부에 불과하다. 어떤 이들은 AI가 정확히 무엇인지에 대해 충분히 구체적으로 설명하지 않고 명확한 정의를 내리지 않았다고 비판한다. 하지만 정의에 대한 논쟁, 특히 선의의 학자들이 쉽게 빠져들 수 있는 논쟁은 AI가 사람과 지구에 미치는 영향과 같은 불편한 주제에 대한 비판적 검토를 가로막는다.
레오 교황은 기술을 유형화하려는 유혹에 저항한다. 대신, 그는 인간 존재의 대체 불가능하고 본질적인 가치라는 핵심적인 직관에 비추어 우리 시대를 바라본다. 이것이 바로 가톨릭 사회 교리를 이끄는 도덕적 비전이다. 이는 “통합적 인본주의”로 가장 잘 표현될 수 있다. 중요한 것은 각 개인, 온전한 인간, 그리고 모든 인류다.
교황 레오는 "기술은 결코 중립적이지 않다"고 경고한다. 기술은 인간성의 의미에 대한 나름의 이해, 즉 인간학을 내포하고 있는데, 이는 기술을 설계하고 판매하는 사람들의 전제에 의해 형성된다. 기술 업계에서는 이를 "컴퓨터 인간학"이라고 부를 수 있는데, 이는 인간과 컴퓨터 사이의 실질적인 구분을 모호하게 만든다.
컴퓨터 인간학은 실리콘 밸리에서 만연하며, 트랜스휴머니즘이라는 이념에 의해 뒷받침된다. 트랜스휴머니즘은 인간성을 초월하여, 너무나 연약한 육체와 평범해 보이는 삶의 제약을 벗어나고자 하는 꿈이다. 이러한 이념의 영향을 받는 사람들에게는 AI의 막강한 힘이 나약하고 불완전한 인간성보다 훨씬 더 매력적으로 보인다.
그러나 교황 레오는 "아무리 정교한 컴퓨터 시스템이라 할지라도 자신을 내어주는 마음이나 선악을 분별하는 양심을 만들어낼 수는 없다."고 지적한다. 우리를 서로에게, 그리고 초월적인 존재에게 열어주는 것은 바로 우리의 유한함과 연약함이다. 인류의 위대함은 이러한 영광과 연약함의 결합과 불가분하게 연결되어 있다.
<마니피카 후마니타스>는 파리 기후 협약을 이끌어내는 데 중요한 역할을 한 프란치스코 교황의 생태 위기에 대한 가르침인 <라우다토 시>와 마찬가지로 문화 비판의 성격을 지닌다. 두 교황은 동일한 근본적인 우려를 공유했다. 우리가 다른 결정을 내리지 않는다면, 우리의 기술은 폭력, 불의, 착취의 정치 경제를 증폭시킬 것이라는 우려다. AI는 거대하고 매우 파괴적인 물리적 인프라 위에서 작동한다. 그것은 인간의 정신, 언어, 그리고 지구 자체를 채굴하는 새롭고 치명적으로 효과적인 착출주의다. 동시에, 겉보기에 비물질적인 특성 때문에 사람과 자연에 대한 착취가 보이지 않게 된다.
이것이 바로 우리 시대의 두 가지 큰 도전 과제, 즉 AI와 생태 위기 사이의 숨겨진 수렴이다. 이 두 가지 모두의 배후에는 자연과 인간을 단순히 원자재로 여기는 "권력 문화"가 있다고 교황은 말한다.
우리는 AI 자체에 대해 생각할 것이 아니라, 그 영향에 대해 생각해야 한다. AI는 권력을 집중시킨다. AI는 책임 소재를 모호하게 하고, 자연과 기후를 더욱 파괴하며, 막대한 이윤을 위해 문화, 언어, 토지를 대량으로 수탈하는 수단이 될 뿐 아니라, 우리를 더욱 외롭고 어리석게 만들 것이다.
나는 샌프란시스코에 가지 않았다. 지금 우리에게 가장 필요한 것은 자유로운 인간 지성이다. 학계와 종교 지도자들이 AI 산업으로부터 확고한 독립성을 유지해야 할 때다.