몇 개월 전부터, ai를 활용하면 여러가지를 만들 수 있다는 걸 깨닫고, 집에 있던 통계학 교재를 다시 읽어보면서 ai에게 다양한 것들을 시켜보고 있습니다. 그러면서 겸사겸사 통계학과 관련된 철학적 논의들도 공부하고 있습니다. 그러다가 비교적 최근 서강올빼미에서 큰 수의 법칙은 경험적인가 선험적인가? 라는 게시물을 읽게 되고, 저도 이와 관련된 내용을 한 번 정리해 보게 됐습니다.
확률에 대해 기초적 지식이 있으신 분은 바로 확률의 해석부터 읽으시면 될 것 같습니다.
조건부 확률
사건 B에 대하여 P(B)>0이라고 가정하자. 이때 B가 일어났다는 조건에서 사건 A의 확률은 다음과 같이 정의한다.
P(A|B)=P(A and B)/P(B)
여기서 P(A and B)는 사건 A와 B가 동시에 일어날 확률이며, P(A|B)는 B가 일어났다는 조건에서 A가 일어날 확률을 나타낸다.
독립사건
두 사건 A, B에 대하여 한 사건의 발생 여부가 다른 사건이 일어날 확률에 영향을 주지 않는다면 두 사건은 서로 독립이라고 한다.
이를 조건부확률로 나타내면 P(A)=P(A|B) 또는 P(B)=P(B|A)이다. 단, 각각의 조건부확률이 성립하려면 P(B)>0 또는 P(A)>0이어야 한다.
두 사건 A와 B가 서로 독립일 필요충분조건은 다음과 같다.
P(A and B)=P(A)P(B)
독립성은 어떤 경우에는 가정되고, 어떤 경우에는 도출된다. 예를 들어 두 번의 주사 던지기에서 첫 번째 던지기가 이후 시행에 영향을 주지 않는다 가정할 수 있고, 다음과 같이 계산으로 구할 수 있다.
공정한 주사위를 한 번 던질 때 다음 두 사건을 생각하자.
A = {2, 4, 6}, B = {1, 2, 3, 4}
두 사건의 교집합은 A∩B = {2, 4}이므로,
P(A∩B) = 2/6 = 1/3
한편,
P(A)P(B) = (1/2) × (2/3) = 1/3
따라서 P(A∩B) = P(A)P(B)가 성립하므로 두 사건은 독립이다.
베이즈 정리
사건 A₁, ..., Aₖ가 표본공간 Ω의 분할이고, 모든 i에 대하여 P(Aᵢ) > 0이라고 하자. P(B) > 0이면 모든 i = 1, ..., k에 대하여 다음이 성립한다.
베이즈주의 입증(Confirmation) 개념을 다음과 같이 간단히 나타낼 수 있다.
직관적인 이해
가설 H : 점심에 비가 온다
증거 E : 하늘에 구름이 있다사전확률 : 비가올 확률
증거확률: 하늘에 구름이 있을 확률
우도: 점심에 비가 온다면 그 전에 구름이 있었을 확률
사후확률: 구름이 있는 것을 경험한 후 점심에 비가 올 확률비가 오기 전에 구름이 있던 경우가 많다해도 (우도↑) , 그 지역이 비가 자주 안 오거나 (사전확률↓) 그냥 평소에도 구름이 흔하게 뜨는 것이라면 (증거확률↑) 구름을 관찰해도 점심에 비가 올 가능성은 낮을 수 있음 (사후확률↓) 을 베이즈 정리를 통해 수학적으로 표현 가능하다.
확률의 해석
고전주의 확률: 가능한 결과들이 서로 동등하게 가능하다고 볼 수 있을 때, 전체 가능한 경우의 수들 중 관심 있는 경우가 차지하는 비율을 확률로 해석한다. 예를 들어 공정한 동전 던지기에서 앞면이 나올 확률은 ‘앞면 경우의 수/모든 경우의 수’다. (즉 0.5) 기초적인 확률 교과서에서는 이 해석을 암묵적으로 가정하는 경우가 흔하다.
빈도주의 확률: 동일한 조건에서 시행을 장기적으로 반복했을 때 사건이 나타나는 상대빈도를 확률로 해석한다. 예를 들어 공정한 동전 던지기를 여러번 반복했을 때 앞면이 나오는 사건의 상대빈도는 1/2에 가까워진다. 이때 장기시행에서 상대빈도가 안정화되는 값을 그 사건의 확률로 간주한다. (즉 0.5)
다만 반복 시행이 가능한 사건의 상대빈도만 확률로 해석하기 때문에 반복 시행할 수 없는 단일 사건이나 명제 자체에 확률을 부여하는 것이 불가능하다. 예를 들어 한 사람이 독약을 먹고 죽는 사건은 장기시행이 불가능하다.
20세기부터 현재까지 통계학에서는 빈도주의적 방법론이 주로 사용된다.
주관주의 확률: 확률을 주관적 믿음 표현으로 해석한다. 예를 들어 동전 던지기에서 어떤 사람이 ‘이 동전은 앞면이 자주 나온다’라고 판단하여 ‘다음 동전 던지기에서 앞면이 나온다’는 명제(또는 사건)에 0.7의 확률을 부여한다면, 이는 그 명제에 대한 믿음의 정도가 0.7이라는 뜻이다. 다만 이러한 믿음의 정도는 확률공리와 정합적이어야 한다.
논리주의 확률: 확률을 주어진 증거와 가설 사이의 논리적 지지 관계로 해석한다. 케인스의 방식으로 설명하자면 동전이 공정한지 알 수 없는 상태에서 첫 번째 던지기가 앞면이었다는 사실은 동전의 편향에 관한 새로운 증거가 되며, 따라서 다음 던지기에서 앞면이 나올 확률에도 영향을 줄 수 있다.
확률과 귀납논리의 결합
확률은 17세기경 도박에 관한 문제를 계기로 체계화되기 시작하였다. 확률은 순수하게 연역적인 수학 이론으로도 발전할 수 있으며, 현실에 적용할 때의 해석 또한 다양하여 확률 개념이 곧바로 귀납과 연관 지어질 직접적인 이유는 없다. 이 때문에 휴웰이나 밀 같은 철학자들도 귀납을 논의하는 과정에서 확률을 직접적으로 끌어들이지는 않았다.
데이비드 스토브에 따르면, 확률 개념이 귀납에 적극적으로 도입된 계기는 귀납에 대한 회의론으로 유명한 흄의 논증이었다. 이 문제를 극복하기 위해 귀납논리에 확률을 적용하려는 시도들이 등장한 것이다. 케인스가 제시한 논리적 확률 해석은 이러한 시도의 시초격이며, 이후 램지는 케인스의 확률 해석을 비판하고, 그 대안으로 주관적 확률 개념을 제시하였다.
한편 20세기 실제 통계학에서는 피셔의 유의성 검정과 최대우도추정, 네이만과 피어슨의 가설검정 이론 및 신뢰구간 등을 중심으로 빈도주의 통계학이 주류를 이루었다. 베이즈 정리를 활용하는 주관적 해석, 논리적 해석들도 철학과 통계학에서 계속 발전해왔지만, 복잡한 모형에서는 사후확률분포를 계산하기 어렵다는 실용적 한계가 있었다. 그러나 1980~1990년대 이후 컴퓨터의 계산 능력이 발달되고 마르코프 연쇄 몬테카를로(MCMC) 등의 계산기법이 널리 활용되면서 이러한 제약이 상당 부분 완화되었다. 이에 따라 베이즈주의 통계학은 철학적인 정당화 문제와는 별개로 현대 실용적인 통계적 추론 방법으로서도 크게 발전하여 활용 범위를 넓히고 있다.
확률은 ‘귀납의 문제’를 해결할 수 있는가?
빨간색과 파란색 공들이 들어 있는 항아리를 생각해보자. 두 가지 색 공들이 어떤 비율로 들어 있는지는 알려져 있지 않다. 이때 무작위 복원추출 방식(공을 하나 뽑아 색을 확인한 뒤, 다시 넣고 섞는 방식)으로 표본들을 얻는다면, 이 표본들을 바탕으로 다음 추출에서 나올 공의 색을 예측하는 것은 정당화될 수 있는가? 흄은 자신의 유명한 논증을 통해 이러한 귀납추론은 그 정당화에서 큰 문제들이 발생할 것이라고 지적했다. 이를 보통 귀납의 문제라고 부른다. (귀납의 문제에 대한 설명은 생략)
이 귀납의 문제를 해결하기 위한 시도 중 하나로 ‘귀납논증에서 전제가 결론을 개연적으로 지지해준다는 것을 선험적으로 보이기’ 방식이 있으며, 확률 규칙을 사용한 귀납논증은 이러한 방식 중 하나로 간주된다. 이를 확인하기 위해 항아리 예시에 확률을 적용해 보자.
이 글에서는 앞서 설명한 베이즈 정리를 사용해 확률적 정당화를 설명할 것이다. 항아리 사례에서 사전확률분포는 ‘항아리 속 빨간 공의 비율은 θ이다’라는 가설의 가능한 값들에 부여한 확률분포이며, 증거 E는 복원추출로 얻은 표본이다. 사후확률분포는 이러한 표본을 관찰한 뒤 갱신된 확률분포이다. 이때 우리가 구하려는 것은 표본 증거 E가 주어졌을 때 다음 추출에서 빨간 공이 나올 예측확률 P(E'|E)이다. 이를 계산하기 위해 다음의 확률 규칙들을 사용한다.
우도
항아리 예시에서 우도 P(E|H)는 항아리 속 빨간 공 비율에 대한 가설 H가 참일 때, N번의 표본 추출에서 빨간 공이 nᵣ번 나올 확률이다. 각 추출이 독립적이고 항아리 속 공의 비율이 일정하게 유지되는 무작위 복원추출 방식이므로 이항분포를 이용하여 우도를 구한다.
P(E|θ) = C(N, nᵣ) θ⁽ⁿʳ⁾ (1−θ)⁽ᴺ⁻ⁿʳ⁾
예를 들어 항아리 속 빨간 공 비율이 0.6이라면 100번의 추출에서 60번 나올 확률은 약 8.12%이다.
P(nᵣ=60|θ=0.6) = C(100,60) 0.6 ⁶⁰ 0.4 ⁴⁰ ≈ 0.0812
예측확률
이어서 이미 관찰된 증거 E가 주어졌을 때 아직 관찰되지 않은 증거 E'가 나타날 예측확률은 다음과 같다.
P(E'|E) = Σₕ [P(E'|H) × P(H|E)]
(가설 H가 연속적인 모수인 경우 적분으로 계산)
이제 예측확률을 계산하려면 먼저 θ에 대한 사전확률분포를 정해야 한다. 그렇다면 사전확률분포는 어떻게 정해질 수 있는가?
라플라스가 제시한 무차별 원리(Principle of Indifference) 에 따르면, 여러 가능성 중 특정한 가능성을 다른 가능성보다 선호할 이유가 없다면, 그 가능성들을 동등하게 취급하여 확률을 부여해야 한다. 항아리 속 빨간 공의 비율에 관한 가설에도 이 원리를 적용할 수 있다. 계산의 편의를 위해 빨간 공의 비율 θ를 0부터 1까지의 연속적인 모수(parameter)로 취급한다. 모수란 확률모형에서 확률분포를 결정하는 값을 의미하며, 이 사례에서는 빨간 공의 비율이 모수에 해당한다.
특정한 비율을 다른 비율보다 선호할 이유가 없다고 보고, θ에 대해 0부터 1까지의 구간에서 균등한 사전확률분포를 선택한다. 참고로 이것은 확률공리에서 반드시 따라나오는 것이 아니다. 이제 사전확률분포가 정해졌으니, 베이즈 규칙을 이용하여 사후확률분포와 예측확률을 계산할 수 있다. 여기서는 구체적인 증명 과정을 생략하고 그 결과만 제시하겠다. (과정을 자세히 알고 싶으면 라플라스의 계승 법칙을 참고)
N번의 추출에서 빨간 공이 nᵣ번 관찰되었을 때 다음 추출에서 빨간 공이 나올 예측확률은 다음과 같다.
P(E'|E) = (nᵣ+1)/(N+2)
만약 표본 추출에서 100번 중 80번이 빨간 공이 나왔을 경우, 이 법칙에 따라서 다음 추출에서 빨간 공이 나올 확률은 약 79.41%이다.
P(E'|E) = (80+1)/(100+2) = 81/102 ≈ 0.7941
극단적으로 100번 추출에서 100번이 빨간 공이 나온다면 다음에 빨간 공이 나올 확률은 약 99.02%이다.
P(E'|E) = (100+1)/(100+2) = 101/102 ≈ 0.9902
따라서 주어진 확률모형과 사전확률분포 아래에서는 관찰된 근거가 매우 강해도 다음 공이 빨간색이 아닐 가능성은 여전히 존재한다.
이를 보면 알 수 있듯이, 확률적 논증은 다음에 나오는 공이 반드시 빨간 공이라는 결론을 제공하는 논증이 아니라, 과거의 관찰들을 고려했을 때 특정한 미래 상황이 나타날 확률이 높다는 결론을 제공한다.
항아리 사례에서 사용된 가정들
지금까지 확률을 이용하여 과거의 관찰로부터 미래의 특정한 관찰 결과가 나타날 개연성을 계산할 수 있음을 보였다. 그렇다면 이러한 확률 계산으로 ‘귀납의 문제’를 선험적으로 해결한 것인가? 아쉽게도 앞선 확률 계산은 자연스럽게 몇 가지 가정에 의존하므로, 그 가정들이 정당화되지 않는 한 ‘귀납의 문제’를 해결했다고 볼 수 없다.
이러한 가정들은 다음과 같다.
다음 추출에서 나올 공의 색을 예측하는 데 확률 규칙을 사용할 수 있다.
추출 결과에 이항분포 모형을 적용할 수 있다.
사전확률분포를 무차별 원리에 따라 정할 수 있다.
각 가정에 대해서는 다음과 같이 질문을 할 수 있다.
확률 규칙을 따르는 것은 추론에서 선험적 지위를 보장해 주는가?
이항분포 모형을 적용할 근거는 무엇인가?
무차별 원리는 선험적 원리인가?
첫 번째 질문에 대한 답변은 확률을 어떻게 해석하는지에 따라 달라진다. 일반적으로 라플라스의 고전적 해석, 케인스와 카르납 등의 논리적 해석, 램지와 데 피네티 등의 주관적 해석은 확률 규칙이 어느정도 선험적 지위를 가질 수 있다고 여겨진다. 따라서 이러한 해석들은 귀납추론을 선험적으로 정당화하려는 시도의 기초가 될 수 있다.
두 번째 질문은 확률모형을 선택하는 근거와 관련된다. 항아리에서 공을 복원추출하는 경우 이항분포 모형을 적용하는 것은 합리적일 수 있지만, 이러한 모형을 다른 귀납추론에도 일반적으로 적용할 수 있는지는 불확실하다. 특히 확률모형 선택에 경험적 가정이 개입한다면, 그 모형에 기초한 귀납추론은 순전히 선험적인 옹호라고 보기 어렵다. 한편 주관적 확률에서 데 피네티의 표상정리(Representation Theorem)는 관찰 결과들의 결합확률분포가 무한 교환가능성을 만족한다면, 이를 모수에 대한 조건부 독립동일분포 모형들의 혼합으로 나타낼 수 있음을 보여준다. 하지만 여기에서도 교환가능성이(Exchangeability)라는 가정이 요구되기 때문에 완전한 해결잭은 아니다.
세 번째 질문은 사전확률분포를 정당화하는 문제와 관련된다. 무차별 원리는 역사적으로 선험적 원리로 간주되기도 했으나 가능성들을 구분하는 방식에 따라 서로 다른 확률이 부여될 수 있다는 비판이 제기되었다.(베르트랑의 역설 참고) 이후 여러 문제로 인해 사전확률을 선험적으로 결정하려는 시도는 대체로 포기되었다. 주관적 확률 해석에서는 보통 사전확률이 개인의 믿음이나 배경지식을 반영할 수 있으며, 확률의 정합성을 따른다면 그 이외 추가적인 선험적 제약을 요구하지 않는다는 접근을 취한다.
정리
이러한 논의들 따르면, 확률적 방법이 귀납의 문제에 대해 완전한 선험적 정당화를 제공한다고 보기 어렵다. 다만 일부 철학자들은 이를 부분적인 해결책으로 이해한다. 경험적 가정과 관찰 결과가 주어졌을 때, 베이즈주의적 조건화를 통해 어떤 예측확률이 도출되어야 하는지를 결정할 수 있기 때문이다. 따라서 확률은 귀납추론의 모든 가정을 선험적으로 정당화하지는 못하더라도, 귀납추론에 필요한 가정들을 명확히 하고 그 가정들로부터 예측확률을 도출하는 역할을 할 수 있다.
＋해석에 관한 어록들
그냥 확률 해석에 대한 치열한 논쟁이 재밌어서 모아봤습니다.
“… advocates of inverse probability … not as an objective quantity measured by observed frequencies, but as measuring merely psychological tendencies … useless for scientific purposes.”“… 역확률(항아리 사례 같은 베이즈주의 방식)의 옹호자들은 … 관찰된 빈도로 측정되는 객관적 양으로서가 아니라, 단지 심리적 경향을 측정하는 것으로 … 과학적 목적에 쓸모가 없다.”
로널드 피셔(빈도주의자), The Design of Experiments, 1935.
“... if we allow it to hold the field, we must admit that probability is not the guide of life ...”“… 그것(빈도주의 확률론)이 이 분야를 지배하도록 허용한다면, 우리는 확률이 삶의 지침이 아니라는 것을 인정해야 한다. …”
존 메이너드 케인스(논리주의자), A Treatise on Probability, 1921.
“My thesis, paradoxically, and a little provocatively, but nonetheless genuinely, is simply this: PROBABILITY DOES NOT EXIST.”“내 논제는 역설적이면서도 약간 도발적이지만, 그럼에도 진실하게 말하자면 단순히 이것입니다: 확률은 존재하지 않는다.”
브루노 데 피네티(주관주의자), Theory of Probability, 1974.
“The essence of the present theory is that no probability, direct, prior, or posterior, is simply a frequency.”
“현재 이론의 핵심은 직접확률이든, 사전확률이든, 사후확률이든, 어떠한 확률도 단순히 빈도는 아니라는 것이다.”
해럴드 제프리스(논리주의자), Theory of Probability, 1939. GPT 번역 후 일부만 수정
참고
귀납: 우리는 언제 비약할 수 있는가, 전영삼 지음, 아카넷
The Problem of Induction, sep.
Interpretations of Probability, sep
Probability and Induction, iep
그 외 인터넷 자료들