인공지능, 사회적 결단, 권력: 고인석, 『인공지능과 로봇의 윤리』에 대한 단상

인하대 철학과 고인석 교수님의 『인공지능과 로봇의 윤리』라는 책을 살펴보고 있습니다. 인공지능을 둘러싼 다양한 철학적 이슈들을 주로 윤리적 문제를 중심으로 다룬 책입니다. 학술 논문 모음집이다 보니 단순한 교양서보다는 수준이 높지만, 인공지능에 대한 전문적인 배경 지식 없이도 충분히 내용을 이해할 만 합니다. 오히려 이 분야의 철학적 쟁점들에 대한 입문서로 읽어도 좋을 것 같다는 생각이 드네요.

이 책이 '사회적 결단'과 '권력'이라는 관점에서 인공지능 윤리의 문제에 접근한다는 점이 인상적이네요. (a) 인공지능의 발전 가능성은 그 기술을 어디까지 받아들일 것인지에 대한 우리 사회의 결단과 분리되지 않는다는 주장, (b) 인공지능이 다양한 문제 해결에 사용됨에 따라 누가 그 문제에 대한 권한이나 권력을 가진 것으로 여겨져야 하는지가 논쟁의 대상이 된다는 주장 등이 인상적입니다.

인공지능과 사회적 결단

"완전 자율주행이 가능한가?"라는 물음은 외견상 기술의 수준에 대한 물음처럼 보인다. 그러나 저 물음은, 예를 들어 "로봇이 뒤공중제비(backflip)를 하는 것이 가능한가?"라는 물음과 다르다. 로보스이 공중제비에 관한 물음은 기술의 수준을 묻는다. 그 물음에 답하기 위해서는 오로지 기술의 현실만 살펴보면 된다. 성공적인 뒤공중제비를 하는 로봇의 시연만으로 물음은 해소된다. 그러나 "레벨 5의 자율주행이 가능한가?"라는 물음은 다르다. 그것은 기술에 대한 물음인 동시에 사회 공동체의 결단에 대한 물음이기 때문이다." (고인석, 2022: 18)

인공지능과 권력

알파고와 이세돌의 대국에서 흥미로웠던 것 중 하나는 대국을 해설하는 전문가들의 태도 변화였다. 알파고가 전문 기사들이 둘 법하지 않은 곳에 수를 두었을 때 "예상대로, 심오한 바둑의 세계에서는 아직 인공지능의 한계가 느껴진다"는 식으로 평하던 사람들이 제5국을 해설할 때는 한층 조심스러워져서는 알파고가 생소한 곳에 수를 두어도 그것의 의미를 궁금해하는 모습을 보였다. 이러한 현상이 흥미로운 이유는, 그것이 일종의 권력 변화를 암시하기 때문이다. (고인석, 2022: 32)

왓슨[의료 인공지능—인용자 주]을 활용하는 병원들은 왓슨에게 환자의 질환을 판정하고 치료법을 결정할 수 있는 권한을 주는 것이 아니라고 힘주어 말한다. 최종 결정은 당연히 의사가 한다는 것이다. 인공지능에 그런 판정이나 결정의 권한을 부여하는 것은 현재 법적으로도, 사회윤리적 감각으로도 허용될 수 없는 일이다. 그러나 막강한 왓슨의 조언을 접한 의사가 과연 그것과 상충하는 진단과 치료 결정을 할 수 있을까? 또 왓슨의 조언과 상충하는 결정을 내린 의사의 판단에 따라 진행된 치료에서 환자의 병세가 악화되거나 환자의 때 이른 사망으로 이어지는 경우, 그 의사에게 부과되는 책임의 무게는 과연 왓슨의 조언에 따라 진행했다가 비슷한 결과에 도달했을 경우와 같을까? 예단하기는 어렵지만, 필자는 왓슨이 유사시에 어떤 표준의 권력으로 작용하게 될 개연성이 작지 않다고 본다. (고인석, 2022: 52)

그런데 이렇게 인공지능을 둘러싼 쟁점들이 단순한 테크놀로지의 문제만으로 그치는 것이 아닌데도, 많은 사람들이 테크놀로지 자체에만 관심을 둔다는 것이 아쉽게 느껴집니다. 즉, 인공지능의 발전이 '사회적 결단'과 '권력' 같은 정치적-윤리적 문제와 밀접하게 연관을 맺는 반면, 정작 인공지능 개발의 선두에 있는 분들은 그런 정치적-윤리적 문제에 대해 논의하는 것을 일종의 '한담'인 것처럼 생각하는 경향이 있죠. (이공계는 사회를 발전시키는 실용적인 논의를 하는 반면, 인문계는 아무런 실용성도 없으면서 그 발전에 자꾸 태클을 거는 규제적인 논의만 한다는 오랜 편견 때문일까요?) 이 책에도 그 구체적인 일화가 나타나 있네요.

필자가 이런 문제에 관심을 가지게 된 계기는 '로봇윤리헌장'이라는 것을 만드는 작업에 참여했던 경험이었는데, 2009년 봄 이 일을 하면서 만났던 어느 공직자의 말이 아직 기억에 남아 있다. "솔직히 말씀드리자면, (내가 로봇윤리헌장이라는 것을 만드는 일을 돕고 있지만) 우리가 만든 로봇이 성큼성큼 걷는 것을 보는 게 저의 (더 중요한) 소망입니다." 이 말은 일종의 사적 대화였고 얼마나 그 공직자의 속마음이 담긴 말이었는지도 알 수 없지만, 필자는 지금도 이와 비슷한 생각을 가진 우리 사회의 리더들이 드물지 않으리라고 본다. 그것은, 단순하게 표현하면, 더 발전된 테크놀로지가 이 사회를 그만큼 풍요롭게 하고 우리 개인들의 삶을 행복하게 한다는 믿음이다. 또 그런 반면 새로운 테크놀로지의 사회적 함의나 심지어 윤리나 철학 같은 인문학 관점의 토론은 말 좋아하는 사람들이 주도하는 지적 호사에 지나지 않는다는 생각이다. 필자는 테크놀로지의 힘과 가치에 대한 믿음과 기대에 동의한다. 그러나 테크놀로지가 우리에게 미치는 영향은 생각보다 훨씬 복잡하다. 인공지능 기술은 이전의 어느 테크놀로지보다도 더 넓고 깊게 인간의 역할을 대행할 수 있다는 속성을 지녔고, 그렇기 때문에 그것의 영향을 가늠하고 조절하는 일은 더더욱 복잡한 과제다. (고인석, 2022: 36-37)

19개의 좋아요

예전에 제가 올렸던 글의 답변이 꽤나 인상깊었는데 비슷한 맥락인 것 같습니다. 인공지능에 관한 윤리가 여러가지가 있겠습니다만 이 답변의 경우 AGI(범인공지능)으로 한정됩니다. 기술적 가능성은 차치하고서라도 인류가 어디까지 허용할 것인지, 그 권력을 누가 가질 것인지가 핵심인 것 같네요.


(이미지가 붉은 색이 많아서 조금 놀라실 수 있습니다.)
국제적으로 유명한 인공지능 컨퍼런스 중 한 곳(ICML)에서 AI 무기의 사용 우려에 대한 내용으로 발표된 포스터입니다. AI 무기의 예측불가능성이 결국 국제적인 AI 연구 협력을 매우 감소시킬 것이기 때문에 대학들에서 이를 위한 윤리연구가 필요하다라는 것입니다. 제가 생각했을 때 사회적 결단과 권력이 가장 부정적인 형태로 현재 나타나는 예시 중 하나라고 생각이 듭니다.

1개의 좋아요

(1)

굉장히 뜬금없는 질문일 수도 있지만, 이 커뮤니티에서 가장 AI와 밀접한/학술적인 전문가이신 것 같아서 이리 여쭤봅니다.

혹시 AI (혹은 광의의 컴퓨터)에서 인지 기능 (즉, 추론이나 선택, 판단 등등)과 기억 기능을 분리할 수 있나요?
예컨대, 전자 계산기를 생각하면 (기억 기능이 아주 최소한은 남아 있지만) 대부분 연산 기능만 존재하잖아요? 인간 같은 경우에도, 기억 중추가 물리적으로 훼손되면 나머지 인지 기능을 멀쩡하면서도 기억의 입출력이 문제가 생기기도 하고요.

만약 AI의 인지 기능과 기억 기능이 구분되고, (기억 기능의 향상을 제한하면서도) 인지 기능만 발전시킬 수 있다면, 꽤 "윤리적인" AI가 만들어지지 않을까, 라는 작은 생각을 해보았습니다.

기억 기능의 제한이 있다면, 그 AI에게는 정체성이라던가, 스스로 내리는 판단이라던가 이러한 인간이 '우려시하는' 문제가 애당초 불가능할테니까요.

2개의 좋아요

석사 진행 예정자인데 과분한 칭찬 감사합니다 ㅎㅎ

사실 이 부분을 무어라 말하기가 좀 어려운 것 같습니다. 모델 자체만 놓고 봤을 때는 각 단계에서 계산을 위한 가중치 값이 저장되어 있고 입력에 따른 계산을 통해 출력을 도출합니다. 때문에 저는 인지기능과 기억기능을 동시에 지닌 것이라 생각합니다. 다만 연산을 빠르게 하기 위해서 자주 사용하는 값들은 내부 값 일부를 미리 저장하거나 검색기능과 연결하여 사용하는 등의 기술은 있습니다. 하지만 이게 인지기능과 기억기능의 분리라고 보기엔 저는 어렵다고 생각하네요.

이 부분에 대해 좀 주목을 해서 말씀드리면 Meta에서 만든 Llama나 Microsoft에서 만든 Phi 등의 sLM 혹은 sLLM은 연산과 저장의 능력이 우리가 일반적으로 아는 것들보단 작습니다. 작은만큼 성능에 있어서 큰 모델보다는 떨어지다보니 범용적으로 사용하긴 어렵지만 도메인에 특화된 모델이나 휴대폰 등에 들어가는 모델로 사용하려고 하죠. 실제로 큰 모델들이 범용성을 갖췄음에도 현재는 "그래서 예네로 이제 뭐함...?"이라는 결말이 나오려는 기미가 보여서 모델을 소형화하되 전문화하려는 패러다임으로 다시 움직이는 추세입니다. 그런 부분들에 있어서는 '우려시하는' 문제들의 발생은 현저히 적을 것이라고 생각합니다.

4개의 좋아요

언젠가 댓글을 단 적 있는데, 해당 질문에 좋은 답변이 될 것 같아 남깁니다.

지성이란 무엇일까? 우리의 지성은 어떻게 상호작용하고, 어떻게 발현되고 있을까? 이를 이해하는 것은 우리 자신을 이해하고, 우리의 능력을 이해하고, 더 나아가 우리의 피조물인 자녀와 AI의 성장 과정을 이해하는 데 중요하다.

사고 자체가 어떤 과정에서 이뤄지는지, 또 다음 단어를 예측하는 LLM(Large Language Model)과 어떻게 유사한지는 어느 정도 알려진 것 같다. 뇌구조에서 영감을 받은 신경망 (neural network)이니 당연히 비슷한 면이 많다.

그러나, 지성이 작용하고 누적되는 과정은 실은 단순한 사고 작용이 아니라, 네 가지의 매우 다른 기능의 상호작용에서 이뤄진다고 생각한다.

우리가 어느 한가한 날 여유롭게 책을 펼쳐 읽으며 머릿속에 지성이라는 나무를 키워가는 과정을 상상하면서 아래 글을 읽어보면 좋겠다.

지성의 첫째 엔진은 LLM과 유사한 '직관'이다. 직관이란 빠르게 사고하고 결론을 내리는 능력인데, 심리학계에서 2000년대에 등장하여 Dual process theory로 알려지다가 2011년 작고하신 노벨 경제학자 다니엘 카네만이 Thinking, Fast & Slow (생각에 관한 생각) 저서를 통해 세계적으로 많이 인용되게 되었다. 흔히 System 1 사고라 말하며, 평생 내가 가꿔둔 의식과 무의식을 통해 특정한 문제에 대한 답을 대번에 찾는 능력이다.

시스템1은 LLM과 매우 유사한데, 그렇기에 동일한 약점을 지니고 있다. 복잡한 수학 문제를 읽고 직관대로 답을 맞추라고 하면 잘 못 맞춘다거나 하는 점이 특히 그렇다. 차근차근 단계적 사고를 할 수 없다는 것이다. 그러나 장점도 막강하다. 학습한 정보와 경험들을 토대로 매우 미묘한 감각과 균형감에 의존하는 것이다. 재즈 거장들과 훌륭한 강사, 뛰어난 파이터와 백전불패의 본능형 장군들 모두 이런 System 1을 잘 활용하는 면이 있다.

책을 읽으며 한 구절 한 구절을 이해하고 그 함의를 이해하는 과정에서 우리는 우선 이 직관을 매우 많이 사용한다. 같은 사람이 같은 글을 읽어도 완전히 다른 함의를 느낄 수 있는 것도, 누적된 지성의 차이에서 나오지 않겠는가. 그렇기에 직관은 과거로부터 상속된 면이 있다. 과거에 읽은 책과 사람들과의 체험 속에 누적된 고민들이, 구체적으로는 LLM이나 내 뇌세포들의 신경망을 형성해서, 마치 잘 만들어진 수로처럼 생각의 흐름을 만든다. 실제로 뇌가 고민에 의해 물리적 연결망이 변화하는 현상을 neuroplasticity(뇌가소성)라 부르기도 하는데, 이는 뇌가 비록 매우 복잡하지만 기계적인 측면이 있다는 점인데, 그래서 모래 사장에 만들어진 작은 수로와 참 유사한 점이 있다. 생각의 흐름은 각인된 경로로 뚜렷이 흐르고 이는 지혜와 편견의 토대가 되기도 한다. LLM 역시도, 마치 피아노 선을 한줄 한줄 조율하듯 수십억 개 이상의 파라미터를 알고리즘을 통해 조율해둔 것이 본질이다.

그러나 직관이 유일한 엔진은 아니다. 두 번째 엔진은 단기기억이다. 내가 느끼는 직관들이 어딘가에 임시로라도 저장되어서, 1분 2분 후에 내가 또다시 하는 사고와 연결되어야 한다. 책이나 글을 한장 읽는 과정에도 우리는 수십번에 걸친 직관적 사고를 해나간다. LLM 으로 치면 여러번의 답변을 하는 셈이다. 즉 한번의 직관이 1차원의 찰나라면, 책을 읽는 과정은 단기기억이라는 2차원의 접시 위에서 직관이 첨벙 첨벙 뛰어노는 과정에 가깝다.

단기기억의 부재를 보면 그 존재의 중요성을 느낄 수 있다. 단기기억이 고장난 치매환자나 기타 증상을 겪고 있는 분들을 통해 귀중한 실험 데이터들이 많이 모였는데, 기억이 고장나면 위의 직관의 발전도 매우 더디다는 것이다. 기억을 곱씹으며 고민하는 과정 자체가 굉장히 중요한 행위가 된다. 컴퓨터로 치면 RAM 이다. 시간이 지나면 단기기억은 대체로 다 증발되고 아주 일부만 장기기억으로 재편된다. 하지만 집중 업무 시간에나, 엄청난 몰입을 할 땐 살아서 펄떡이는 단기기억 위에서 나의 모든 직관들을 오롯이 뛰어놀게 할 수 있다. 이게 어쩌면 몰입의 설명이 아닌가 싶기도 하다.

LLM을 활용할 때도 이런 단기기억을 만들어줄 순 있으나 작위적인 방법이고 (메모장을 주는 수준) 사고속에 일시적으로라도 보존할 수 있는 방법은 없다**. LLM은 순수한 직관 엔진이다. '메멘토'처럼 매 순간 기억을 잃어버리는, 그저 1초간의 스파크와 비슷하다. 아마도 미래의 연구 분야 중 하나는 LLM 이 순간적으로 자신의 기억들을 기억하고 그 위에서 직관을 노닐게 할 수 있는 점은 아닐까.**

세 번째 엔진은 장기기억이다. 장기기억을 만드는 방법 역시 아주 자연스럽진 않다. 현재 이야기하는 RAG 방법론이란 대체로 사람의 장기기억보다는 거대한 백과사전을 빠르게 검색할 수 있는 기능에 가깝다. 메멘토인 사람이 모든 것을 기억하는 조언자한테 의지해서 답을 하는 것과 비슷하여, 예컨대 치매 걸린 어느 회장님께서 명석한 부회장님의 귀뜸에 의지해 인터뷰를 이어나가는 방식과 유사하다. 대충 주어진 적은 양의 요약 정보로 순간 판단을 내리는 것이지만, 깊이 있는 맥락에 대한 이해가 없어서 사실은 답답한 상태이다.

결국 직관, 단기기억, 장기기억을 뒤섞어서, 되새기고, 되새기고, 여러 시나리오를 곰곰히 검토해보는 능력이 앞선 말한 dual process theory에서 나오는 System 2의 사고, 오랜 시간이 걸리는 지성적 사고가 아닌가 싶다. 사람은 복잡한 수학 문제를 앞에 두고 직관으로 풀 수 없다. 그러나 차근차근 장기기억속에서 이 문제를 풀 수 있었던 패턴들을 떠올리며 동시에 이 문제에서 이야기하고 있는 몇 가지 변수와 새로운 패턴들을 계속 기억에 담아둔다. 그 안에서 직관을 여러 번 step by step으로 사용해가며 문제가 풀어지는 실마리를 찾아나간다. 이게 사람들이 가장 머리 아프게 하는 뇌 사용법이자 동시에 인류가 위대해진 이유가 아닐까. 실제로 LLM도 직관만 사용하지 않고 여러 번에 걸친 자문자답을 통해 고민을 시키면 1초만에 바로 답변하는 것보다 월등히 높은 지성을 보인다고 한다. 지금의 LLM들이 대중을 놀래키기 위해 즉문즉답하는 상태일 뿐, 사람과 마찬가지로 일주일씩 고민의 시간을 주면 훨씬 정돈된 논증을 풀어낼 수 있게 된다는 검증이 이뤄졌다.

여담이지만, 대개의 고등학생들은 직관과 단순 기억 추출에서 LLM 에게 이기기 힘들다. 사람의 장점은 system 2를 사용할 수 있고 불완전하나마 자신만의 중장기 기억을 가지고 있다는 점은 아닐까 생각해본다.

LLM을 통해 에이전트를 만들어감에 있어서 고민은, 이런 단기 장기 기억과 LLM을 어떤 구조로 섞어내느냐에 있다. 특히 LLM에 장기기억을 허용하는 방법 자체가 아직 1차원적이다. 말하자면 백과사전은 줬는데, 백과사전을 곰곰이 생각해본 기억은 주지 않은 식이다. 어떻게 하면 자신이 소화했어야 할 문헌들을 깊게 고민해서 중장기 기억에 남긴 에이전트를 만들 수 있을까? 단기 기억이라는 접시 위에 장기 기억과 직관 모두가 펄떡펄떡 뛰어놀게 하는 과정을 대량으로 반복하는 것이 지성을 구현하는 방법일텐데 말이다. 따지고 보면 답은 간단할 것 같은데, (실제로 곰곰히 문서를 읽히고 기록하게 하는 방식) 이를 통해 Agentic framework들을 한 단계 격상시킬 수도 있을 것 같다.

마무리하자면, 우리 자녀들도 위와 같이 공부를 한다. 장기기억을 내실 있게 많이 쌓으며, 동시에 그걸 자주 꺼내면서 현재의 직관과 새로운 정보와 많은 화학적 융합을 이루는 과정이 필요하다. 바베큐와 비슷하게, low and slow하게 오래 동안 묵히는 지식이 필요한 것이다. 그것이 훗날 1초만에 의사결정을 할 수 있는 뛰어난 직관의 토대가 되리라.

그러한 에이전트의 설계를 고민하고 있자니 어쩐지 심리와 철학과 뇌과학과 IT와 인류학의 어떤 흥미진진한 접점에 서 있는 느낌이라 설레이면서도, 앞으로 다가올 미래의 거대한 변모가 묵직하게 느껴진다.

[출처] AI를 이해하기 위한 '지성의 분해'|작성자 juliuschun

소위 우리가 말하는 AGI가 기억능력이 없다면, 메멘토의 주인공 같을 것이며, 놀랍게도 어떠한 방식으로 '기억(기록)하는 법' 또한 학습하게 될 것 같네요.

4개의 좋아요

(1)

아아 역시...어느 정도 인지능력이 도약하려면, 기억 능력의 상승 역시 동반되어야 하는가 보군요.

답변 감사드립니다!

(그리고 석사 과정도 잘 되시길 바랍니다!)

1개의 좋아요

(1)

와! 좋은 자료 감사드립니다 ㅎㅎ

1개의 좋아요