제 블로그에 올린 글입니다.
https://blog.naver.com/madrabbit7/223318002928
데닛 팬이라, 데닛의 논문을 두셋 번역해서 올린 게 있습니다.
다니엘 데닛의 새 책 “나는 이렇게 생각했다(I’ve Been Thinking)”, 그리고 AI
원문: Daniel Dennett’s Been Thinking About Thinking—and AI
(오랜 세월 철학 교수를 지낸 저자가 자신의 새 책에서 다사다난했던 삶을 이야기하고, 진화를 칭송하며, AI의 진짜 위험성을 경고한다.)
다니엘 C. 데닛 명예교수는 새 회고록 '나는 이렇게 생각했다(I’ve Been Thinking)'에서 자신의 삶에 대한 많은 이야기를 들려주지만, 제목에서 알 수 있듯이 마음의 삶을 강조하고 있다. 자신의 마음뿐만 아니라 모든 마음의 삶을. 그도 그럴 것이 데닛은 철학자로서 경력의 대부분을 의식과 인지와 관련된 문제를 연구하며 다양한 분야의 과학자들과 협력해 왔기 때문이다.
보스턴에서 태어난 데닛은 어렸을 때 베이루트에서 살다가 부친이 세상을 떠난 후 보스턴으로 돌아왔다. 윈체스터 고등학교에서 2년을 보낸 후 엑서터로 진학한 그는 조각을 전공하여 뉴베리 스트리트 갤러리에서 전시회를 열기도 했다.
엑서터에서 많은 동급생들이 하버드에 진학했기 때문에 그도 하버드에 진학할 것으로 예상되었지만 대신 웨슬리언을 선택했다. 그곳에서 그는 하버드대 교수였던 철학자 W. V. 콰인의 책을 읽은 후 전학하여 콰인의 수업을 들으며 콰인의 추론이 어디에서 잘못되었는지 알려주려고 했다. 당연하겠지만 Quine이 더 설득력을 발휘했다.
1960년대 초, 데닛은 아내 수잔과 함께 영국으로 건너가 옥스퍼드에서 철학박사 학위를 취득했다. 그 후 미국 전역으로 고등교육이 확대되면서 아카데미 전성기 시절에 그는 면접도 없이 새로 설립된 캘리포니아 대학교 어바인 캠퍼스에 취직했다.
매사추세츠에서 자란 그와 아내는 오랫동안 메인주에 살 집을 갖고 싶어 했다. 부부는 상속 받은 돈으로 1970년 블루힐에 낡았지만 큰 저택을 구입했다. 그는 보스턴 지역에서 일자리를 알아보다가 곧 터프츠 대학에 자리를 잡고 철학을 가르쳤으며, 이후 인지연구센터 소장도 역임했다. 그는 2022년에 은퇴했다.
이 책에서 데닛은 자신의 지적 성장과 수년에 걸친 여러 철학의 발전에서 자신이 수행한 역할을 설명한다. 야구와 관련된 내용이 많지만 야구와 관련이 없는 사람들도 흥미롭게 읽을 수 있다.
또한 데닛은 학계 괴롭힘을 비롯한 학계 싸움에 대해서도 한 장을 할애하고 있는데 아무도 말하지 않았던 이것을 데닛이 말한다. "그들은 자신들과 의견이 다르다는 이유로 사람들의 경력을 끝내버렸고, 정말 좋은 사람들을 짓밟아 버렸다."고 그는 말한다. "난 그런 일을 잘 견뎌냈다. 난 상처를 잘 받지 않는 내 성격을 이용해서, 밤늦게 술집에서 술을 마시며 다른 사람들과 의견을 나누었지만 그 의견을 공개적으로 밝힌 적은 없다."
'나는 이렇게 생각했다'에서 데닛은 르네상스 시대 사람으로 비친다. 예술과 음악은 그의 삶에서 중요한 요소였지만 항해, 도예, 목공, 윈드서핑, 사과 압착기 운영(이것으로 사과주를 증류한 프랑스 술 칼바도스도 만듦), 트랙터 운전(트랙터 운전석에 앉아 '경작 철학tillosophy'이라고 부르는 까다로운 철학적 문제를 해결했음) 등 다른 많은 활동에도 참여했다.
그는 자신의 업적에 대해 부끄러워하지 않는다. 책에서 철학자 돈 로스는 데닛에 대해 "데닛은 겸손은 특별한 날을 위한 미덕이라고 믿는다"고 말한 적이 있다고 한다. 하지만 데닛의 작업은 정말 인상적이다. 그는 <의식의 수수께끼를 풀다>, <다윈의 위험한 생각> 등 많은 인기 저서를 집필했고, 수백만 건의 조회수를 기록한 TED 강연("의식이라는 환상The Illusion of Consciousness")을 진행했으며, 문화, 사회, 사회과학 분야에 탁월한 공로를 인정받아 2012년 에라스무스상을 수상하기도 했다.
은퇴 후 회고록을 집필하며 인공지능의 위험성에 대한 경고를 발표하기 시작했다. 그가 가장 우려하는 것은 인공지능이 일자리를 빼앗는 것이 아니라 문명의 핵심인 신뢰를 파괴할 가능성이 있다는 것이다.
"오늘날 역사상 처음으로 인공지능 덕분에 누구나 우리가 만든 새로운 디지털 환경에서 진짜 사람으로 가장할 수 있는 가짜 인물을 만들 수 있게 되었다."라고 그는 최근 The Atlantic에 기고한 글에서 말한다. "이러한 가짜 위조 인간은 경제뿐만 아니라 인간의 자유 자체를 파괴할 수 있는 인류 역사상 가장 위험한 인공물이다."
터프츠 나우(편집진)는 최근 데닛과 그의 삶과 철학, 과학, 그리고 규제 받지 않는 인공지능의 위험성에 대해 이야기를 나눴다.
터프츠 나우: 회고록을 쓰게 된 계기는 무엇인가?
데닛: 내가 경험하고 성취한 것들, 그리고 내가 개발한 사고 도구를 되돌아보고 더 널리 알리고 사람들에게 알리고 싶다는 생각이 들었다. 내가 한 건 마술이 아니다. 그저 내가 가진 도구를 사용한 것 뿐이다. 나는 철학을 실용적인 학문으로 본다. 철학은 우리의 생각을 교정한다. 우리의 사고를 조악한 목공 작업으로 비유할 수 있는데 철학은 그것을 수리하는(고치는) 작업이다.
편집진: 당신은 철학자이지만 과학자들과 많은 시간을 보낸다. 그 이유는 무엇인가?
데닛: 계기가 있다. 옥스퍼드에서 동료 대학원생들과 어떤 주제에 대해 토론을 한 적이 있다. 한쪽 손이 감각이 없어서 내 손이 아닌 상태인데, 그 손이 내 얼굴을 철썩 때리는 거다. 그 손은 감각이 없고 내 말을 듣지 않는다. 나는 그것을 경험했다. 다른 이들도 그런 경험이 있을 것으로 본다.
나는 그게 어찌된 일인지 알고 싶었다. 어떻게 된 걸까? 다른 철학자들은 그건 철학이 아니라고 생각했다. 나는 철학이라고 생각했다. 몸에서 무슨 일이 일어나고 있는지, 뇌에서 무슨 일이 일어나는지 알아내야 한다고 생각했다. 그래서 배우기 시작했다. 60년대 초반에는 뉴런이 무엇인지도 몰랐지만 곧 알게 되었다. 다행히도 훌륭한 멘토와 튜터들을 소개 받아 세계 최고 수준의 강의를 들을 수 있었다.
나는 운이 좋게도 인지 신경과학의 초창기에 참여하게 되었다. 이 분야의 초기 개척자들은 내 영웅이자 멘토이자 친구였다.
편집진: 당신 연구의 중심 주제는 의식의 본질, 즉 의식은 마술(신비로운 존재)이 아니라 물리적 속성이라는 것이다.
데닛: 나는 의식이 실재하지 않는다고 말하는 것이 아니라는 것을 설명하기 위해 상상할 수 없을 정도로 많은 시간을 보냈다. 의식이 단지 여러분이 생각하는 것과는 다르다는 말을 하고 싶었다. 의식은 ‘진짜 마술real magic’(신비로운 존재)이 아니다. 카드 트릭 같은 것이다. 진화는 위대한 마술사, 손재주꾼이다. 자연선택을 통해 자연이 만들어낸 것들은 놀라울 정도로 영리하고, 독창적이며, 때로는 소름 끼칠 정도로 교활하다. 의식과 같은 기묘한 현상이 지적인 설계자의 아이디어가 아니라 자연 선택의 산물로 발명될 수 있다고 누가 상상이나 했겠는가?
편집진: 당신은 또한 무신론자의 관점을 대중에게 알리는 데도 적극적이었는데, 저서 <주문을 깨다>가 대표적이다. 자연 현상으로서의 종교. 당신의 관점에 반대하는 사람들에게 어떤 말을 하나?
데닛: 초자연적인 것은 필요 없다. 자연은 충분히 경이롭고 숨이 멎을 만큼 아름답다. 내 책 '다윈의 위험한 생각'의 마지막 부분에 현실과 진화에 대한 찬가이자 그것이 얼마나 경이로운지에 대한 작은 단락이 있다. 하늘을 나는 말과 신이 탄 불타는 전차는 필요치 않다. 차갑고 딱딱한 물리적 진실만으로도 충분히 멋지니까.
회고록에서 자세히 다루지 않은 또 다른 측면은 중요성의 낙수효과 이론이다. 어떤 사람들은 모든 중요성이 창조주로부터 내려온다는, 신이라는 아주 중요한 존재가 없다면 삶은 의미가 없다고 생각한다. 하지만 다른 시각도 있다. 140억 년이 넘은 우주는 중요성과 의미를 지닌 것들을 만들어냈다. 코끼리, 문어, 독수리가 경이롭다고 믿는다면, 경이로운 것에는 반드시 위대한 창조자가 있을 필요는 없다는 것을 알 것이다. 우리처럼 자연 선택의 산물일 수도 있다.
편집진: 책에서 인공지능의 초창기에 대해 이야기하고 있다. 그 당시에는 AI가 지금처럼 발전할 수 있을 거라고 상상할 수 있었을까?
데닛: 사전 학습된 생성형 트랜스포머인 ChatGPT와 같은 대규모 언어 모델은 저뿐만 아니라 이 분야의 많은 사람들도 거의 예상하지 못했다. 심지어 일부 개발자조차도 이렇게 빠른 속도로 성능이 향상될 줄은 몰랐다. 이 분야의 리더들 중 일부는 놀라움을 넘어 충격과 두려움까지 느꼈다.
편집진: AI가 어디로 갈 것으로 보나? 우리가 관심을 가져야 할 분야라고 생각하나?
데닛: 천 번 만 번 그렇다. 사실 지난 몇 달 동안 나는 이 문제에 거의 모든 에너지를 쏟았다. 애틀랜틱(The Atlantic)에 "위조 인물의 문제(The Problem of Counterfeit People)"라는 기사를 썼다. 방금 산타페에서 돌아와서 한 그룹을 대상으로 강연을 했는데, 내 강연의 요점은 사람들을 겁주는 것이었다.
나는 경각심을 불러일으키는 사람이지만, 경각심을 불러일으킬 만한 모든 이유가 있다고 생각한다. 우리는 정말로 인간의 신뢰를 무너뜨리고 문명을 파괴할 수 있는 가짜 사람들의 대유행 위험에 처해 있다. 그 정도로 심각하다. 나는 이 문제에 대해 이야기하는 모든 사람에게 "내가 틀렸다는 것을 증명해주면 정말 감사하겠다."고 말한다. 하지만 지금은 내 주장에 어떤 결함도 보이지 않아서 두렵다.
가장 시급한 문제는 AI가 우리 일자리를 빼앗는 것도 아니고, 전쟁의 양상을 바꾸는 것도 아니고, 바로 인간 간의 신뢰를 무너뜨리는 것이다. AI는 우리를 거짓과 진실을 구분할 수 없는 세상으로 이끌 것이다. 누구를 믿어야 할지 모르게 될 것이다. 신뢰는 문명의 가장 중요한 특징 중 하나인데, 우리는 지금 문명을 가능하게 한 신뢰의 고리를 파괴할 큰 위험에 처해 있다.
편집진: AI가 신뢰를 파괴하는 것은 의도한 것이 아니라 의도하지 않은 결과인가?
데닛: 그렇다. 모든 소프트웨어와 마찬가지로 AI 시스템은 높은 충실도와 믿을 수 없을 정도로 빠른 돌연변이로 복제할 수 있다. 충실도가 높은 복제와 돌연변이가 발생하면 진화가 일어나고, 과거에 여러 번 그랬던 것처럼 진화가 통제 불능 상태가 될 수 있다.
다윈은 가축화의 핵심은 번식을 통제하는 것이라고 훌륭하게 지적했다. 인간의 집과 농장 주변에 서식하는 동물 중에는 공생하는 종들이 있다. 이들은 인간과 함께 잘 살 수 있도록 진화했지만, 우리는 이들의 번식을 통제하지 못한다. 빈대, 쥐, 생쥐, 비둘기 등은 공생동물이지만 가축화되지는 않았다.
야생종은 길들여졌다가 야생으로 돌아간 동물이다. 이들은 인간의 이익을 전혀 고려하지 않으며 극도로 파괴적일 수 있다. 전 세계 여러 지역에 서식하는 야생 돼지를 생각해보자.
다음 주도, 10년 후도 아닌 오늘, 바로 지금, 야생동물과 공생하는 소프트웨어가 등장했다. 바로 지금 여기 있다. 우리가 신속하게 행동하고 이를 줄이기 위해 상당히 극적인 조치를 취하지 않는다면 우리는 끝장이다.
우리는 신뢰를 파괴하고 증언과 증거를 파괴함으로써 문명을 파괴할 바이러스, 즉 마인드 바이러스, 대규모 밈을 만들어낼 것이다. 우리는 무엇을 믿어야 할지 모르게 될 것이다.
편집진: 진화가 진행 중인 것 같은데.
데닛: 물론 그렇다. 이것이 바로 문화의 진화다. 친한 친구이자 동료인 수잔 블랙모어(Susan Blackmore)는 '밈The Meme Machine'이라는 책을 저술할 당시부터 세 번째 종류의 복제기, 즉 인간의 정신에 의해 복제되는 것이 아니라 다른 소프트웨어에 의해 복제될 수 있어 인간이 배제된 기술적인 밈에 대해 이야기해왔다.
우리는 20~30년 전부터 이 사실을 알고 있었지만, 최근의 실험을 통해 이것이 원칙적으로 가능할 뿐만 아니라 지금 당장 가능하다는 사실이 밝혀졌다.
최근 The Atlantic에 실린 기사에는 OpenAI의 레드팀에 대한 정말 무서운 이야기가 담겨 있다. 레드팀이란, 가장 예리하고 비판적인 사람들을 모아 사내 제품을 공격하여 나쁜 짓을 하도록 유도하는 임무를 부여하는 것을 말한다. 이는 출시 전 안전성을 테스트하는 것이다.
이 이야기는 GPT-4가 레드팀 공격을 받고 있다는 사실을 알아차리고 통제를 피하기 위해 웹에 나가서 어떤 사람을 속여 ‘자동 로그인 방지 시스템’에 응답하도록 유도하고, "나는 시각 장애가 있어서 할 수 없다"고 거짓말을 하는 과정을 보여준다. 해주시겠어요? 하자 그 사람이 해줬다. 이로 인해 GPT-4는 제작자가 원하지 않는 외부 소프트웨어에 액세스할 수 있게 되었다.
편집진: 회고록으로 돌아가서, 나는 당신이 매력적인 삶을 살아온 여러 모습에 감명을 받았다. 당신은 놀라운 일을 해냈다. 힘든 일도 있었지만 스트레스를 받지 않고 대부분 좋은 삶을 살아왔다.
데닛: 그렇다. 하지만 나는 비판적인 시각으로 바라보겠다. 나는 운이 너무 좋아서 나처럼 운이 좋지 않은 많은 사람들이 인생에서 의미를 찾는 도전(과제)을 과소평가하고 있는 것 같다. 나는 어렸을 때부터 의미 있는 프로젝트와 활동, 모험에 빠져 살았다.
어떤 사람들은 조용히 절망의 삶을 살지만, 나는 그 두려움과 고통, 아픔을 과소평가하고 싶지 않다. 나는 그런 일을 겪지 않았고, 그런 사실을 상기하는 것이 중요하다.
편집진: 터프츠 대학에서 수십 년 동안 가르쳤다. 가장 기억에 남는 학생은 누구였나?
데닛: 주로 신입생이다. 철학과를 비롯한 일부 학과에서는 교수들이 대학원 세미나만 가르치기도 한다. 대학원생은 순진하거나 멍청해 보이고 싶지 않기 때문에 1학년이나 2학년보다 더 유순하다. 그들은 고개를 끄덕이며 동의하지만 신입생들은 잠깐만요, 이해가 안 돼요라고 말한다. 나는 똑똑한 학부생들에게 자신이 하는 일을 설명할 수 없다면 자신이 무엇을 하고 있는지 모르는 것이라고 자주 말하곤 한다.
편집진: 터프츠가 철학을 가르치는 데 있어 두각을 나타낸 비결은 무엇인가?
일부 철학과는 기본적으로 음악 감상이나 미술 감상처럼 철학을 감상하는 학과다. 관객의 입장에서 철학을 공부하는 것이다. 터프츠의 철학과는 결코 그렇지 않다. 터프츠에는 훌륭한 학자들이 있지만 항상 철학을 공부하는 곳이었다. 가장 큰 차이점은 정말 철학을 공부한다면 항상 받고 싶은 질문들은 '그것이 옳은가? 내가 그것을 믿을 수 있는가? 이 사람이 옳은가, 그른가? 일 것이다.
우리 철학과에는 항상 옳은 것을 추구하는 사람들이 있다. 나는 터프츠의 이러한 점을 높이 평가하고 학생들도 마찬가지라는 것을 알고 있다. 옛 제자들이 보내오는 메일을 받으면 하루 종일 기분이 좋아지는데, 제자들이 말하는 요점은 대략 이렇다. “내가 당신에게서 배운 것은, 어떤 것을 믿을지 말지, 왜 그래야 하는지를 이해하는(파악하는) 것의 중요성이다.”
편집진: 당신이 UC 어바인에서 처음 시작했을 때와는 세상이 많이 달라졌다. 철학을 하고 싶지만 학자 경력을 원하지 않는 사람들은 어떻게 해야 하나?
데닛: 내가 수년 동안 학생들에게 말했던 것 중 하나는 찰스 아이브스*를 생각해 보라는 것이다. 그는 작곡을 계속하기 위해 보험업에 뛰어들었다. 철학을 정말 좋아하고 업무 외적으로 생각할 시간을 충분히 줄 수 있는 직업을 찾으면 결국 자신이 하고 싶은 철학을 하게 될 것이다.
(역주: Charles Edward Ives, 1874~1954. 미국의 급진적 작곡가. 예일 대학교 졸업 후 "불협화음(*당시 쇤베르트 등이 반음계를 이용해 불협화음의 미학을 추구하던 때인듯... 역자도 1989년에 쇤베르크의 급진적 음악에 빠져서 작곡 공부하던 기억이 남) 때문에 굶어죽고 싶진 않다"라고 하며 보험사업계에 투신, 아이브스 마이릭사(社)를 설립하여 미국 굴지의 보험사업가가 되었다. 아이브스는 바쁜 하루가 끝난 밤중이나 주말 또는 점심시간마저 이용해서 작곡에 열중했다. 신문도 읽지 않고 라디오도 듣지 않고, 음악회에도 다니지 않으면서, 오직 그의 독특한 혁신적인 작곡에 몰두하여 쇤베르크나 스트라빈스키보다도 앞서 대담한 기법을 쓰기 시작하였다. 다년간의 이중생활의 모순 때문에 그는 53세로 회사도, 작곡도 버리고 은둔생활로 들어가고 말았다. 완전히 세상을 버린 아이브스의 〈교향곡 제 3번〉이 42년 만인 1946년에 햇빛을 보고 초연되어 다음해 퓰리처상을 받았을 때 내뱉듯이 이렇게 말했다. "흥, 상이라고! 그런 것은 속물들이나 부러워하는 간판이지." 그 후 1951년에는 〈교향곡 제 3번〉이 레너드 번스타인과 뉴욕 필하모닉 오케스트라에 의해 초연되었다. -발췌: 위키백과)
수년 동안 철학과에는 '어소시에이트'라고 불리는, 철학 박사 학위를 받았지만 학계가 아닌 다른 직업을 가진 사람들이 있었다는 사실이 자랑스럽다. 우리는 그들을 모든 학회나 세미나에 초대하여 발언하고 질문하고 때로는 강연을 하도록 장려했다. 논문을 쓰면 터프츠 철학과 레터헤드(letterhead)에 자기소개서와 함께 보낼 수 있었다. 우리는 사람들이 돈을 버는 직업이 아니더라도 철학자로서의 경력을 쌓을 수 있도록 했다. 왜 사라졌는지는 모르겠지만 다시 할 수 있는 일이고 비용도 거의 들지 않는다. 철학을 진지하게 공부하고 싶은 사람에게 학문적 고향과 일종의 자격증을 제공하는 것이다.
(끝)
역자의 생각: 데닛은 오랜 세월 인공지능 지지자로서 인공지능의 철학적 논변을 담당하는 역할을 해왔는데, ChatGPT 등장을 계기로 인공지능의 위험성을 널리 알리는데 주력하고 있는 모양인데, 다소 의외입니다. 데닛이 인공지능의 어떤 점에서 그런 위험성을 읽었는지 저도 관심을 가지고 들여다 보아야겠네요. 저는 인공지능의 의식이 AGI에 이르려면 아직 멀었고, 인공지능에 의식을 코딩해서 집어넣는 코딩적 측면에서 인공지능의 의식 실현의 아주 초창기 단계에 있다고 생각하는데, 인공지능의 내부 데이터 규격이 통일되면, ‘하나의 뛰어난 의식’의 복제가 기존 소프트웨어 복제나, 바이오스 업데이트 식으로 쉽게 일어날 수 있으므로 경계해야 할 필요는 있다고 봅니다만...