조건부 확률(베이지안)의 이해를 위한 예제 및 풀이

v1.0 2007/10/11 Copyleft by 전경헌@사이냅소프트
v1.1 2007/10/16 Copyleft by 전경헌@사이냅소프트 , 몬티홀 문제에 대한 커멘트 추가
v1.2 2011/03/17 Copyleft by 전경헌@사이냅소프트 , 몬티홀 문제를 별도 블로그로 기록함

베이스의 정리(Bayes’ theorem)는 공부할 때마다 새로운 느낌이 든다.
매번 아하 그렇지 라는 생각이 들다가도 좀 지나면 다시 기억이 안난다.
내가 기억하는 것만으로도 베이스의 정리는 최소 3번이상 공부한 것 같다.

정리자체는 매우 단순한데… 적용할 때마다 확신이 잘 안서는 것 같아서
이번에는 베이스의 정리를 잘 드러내주는 예제들을 10개쯤 모아 보기로 하였다.
(머리나쁜 사람이 공부하기에는 예제가 최고!!! ^^)

먼저 베이스의 정리를 다시 살펴보자.(위키피디아 참조)
 
P(A|B) = P(B|A)P(A)/P(B)

여기에서
P(A|B) – 사건B가 발생한 상태에서 사건A가 발생할 조건부 확률
P(B|A) – 사건A가 발생한 상태에서 사건B가 발생할 조건부 확률
P(A) – 사건A가 발생할 확률, B에 대한 어떠한 정보도 없는 상태에서 A가 발생할 확률
P(B) – 사건B가 발생할 확률, A에 대한 어떠한 정보도 없는 상태에서 B가 발생할 확률

간단하게 공식이 어떻게 유도되는 지 보자.

P(B|A) = P(A^B)/P(A) 이므로
P(A^B) = P(B|A)P(A)라고 쓸 수 있다.

따라서
P(A|B) = P(A^B)/P(B) = P(B|A)P(A)/P(B)

벤다이어그램을 통하여 정리자체를 이해하는 건 참 쉬워보인다.
그럼 이제 예제를 공부하여 확실하게 알아두자.

예제1) 하얀별사탕, 분홍별사탕

건빵 2봉지를 샀다. 그래서 별사탕도 2봉지다. 첫번째 봉지에는 하얀별사탕이 10개, 분홍별사탕이 30개 들었고, 두번째 봉지에는 각각 20개씩 들었다. 두봉지의 별사탕을 하나의 접시에 담고, 눈을 감은채 별사탕하나를 집어들었다. 눈을 뜨고 집어든 별사탕을 지그시 살펴보니 분홍별사탕이다. 이 별사탕이 첫번째 봉지에서 나왔을 확률은?

별사탕이 40개씩 들었다는게 알려지면 엄청 잘팔리겠군.
음… 첫번째봉지에 분홍별사탕이 더 많이 있었으니,
아무리못해도 50%이상의 확률이 나와야 한다.

따라서, 답은 60%이다.

예제2) 불량 노트북 공장

두개의 노트북 조립라인을 가진 공장에서 생산된 1000대씩의 노트북들을 같은 화물 창고에 쌓아 놓았다. 각각의 조립라인을 정밀하게 조사하여, 1번 조립라인에서 생산된 노트북의 10%가 불량이고, 2번 조립라인에서 생산된 노트북의 15%가 불량임을 알았다. 화물 창고의 노트북을 하나꺼내 조사한 결과 불량이었을 때, 이 노트북이 1번 조립라인에서 생산되었을 확률은?

P(1|불량) = P(불량|1)P(1)/P(불량)

 =             P(불량|1)P(1)              
     P(불량|1)P(1) + P(불량|2)P(2)

P(1) = P(2) 이므로 분자와 분모에서 P(1),P(2)를 제거하고
값을 대입하면

P(1|불량) = 0.1 / (0.1 + 0.15) =  0.4

답은 40%

예제3) 99% 폐암진단시약

우리나라 충청,전북 등 자연적으로 우랴늄 함량이 높은 지역 일부에서 평생 1백명 가운데 1명이 폐암에 걸려 사망할 위험이 있는 등 라돈 농도가 위험수위인 것으로 밝혀졌다. 해당지역 주민한명이 폐암을 99% 진단하는 시약으로 진단한 결과 폐암 양성반응을 확인했을 경우, 이 주민이 실제로 폐암에 걸렸을 확률은?

가정이 많이 필요한 문제로군.
먼저, 흡연자 비흡연자 성별, 직업 등 다른 모든 조건은 별개로 하고
해당지역주민이 폐암에 걸릴 확률은 1%라고 하자.

이제, 각각의 확률을 적용하면,
P(폐암|양성) = (99/100) * (1/100) / (198/10000) = 1/2 = 50%

따라서, 답은 50%이다. 양성반응이 나와도 조금만 겁먹자.
확률은 반반이니까…

예제4) 두명의 자식

전경헌씨에게는 두명의 자식이 있다. 한명이 아들이라는 것만 알고 있을 때, 다른 한명이 아들일 확률은?

음… 실제 전경헌씨한테 사랑스런 아들이 둘 있다는 것을
알고 있는 상태에서 문제를 풀어야 하는 게 좀 그렇군.

주사위 두개를 던져서 하나가 홀수임을 알았을 때
다른 하나도 홀수일 확률은?

예제5) 전자회로 스위치

아래 그림처럼 전류가 a에서 b로 흐르도록 회로를 구성하였다.
 

즉, 2개의 스위치 1,2중 하나만 on 되면 전류가 흐르는 병렬회로이다. 스위치가 불량일 확률이 10%라고 하자. 만약 두개의 스위치를 모두 켰을 때 전류가 흘렀다면, 1번 스위치가 정상일 확률은?

스위치가 정상이라면 켰을 때 전류가 흐르는 것이고, 불량이라고하면 켰을 때도 전류가 흐르지 않는다고 봐야겠군.
 
스위치 1이 정상일 확률을 P(1)이라하면 문제에서 P(1) = 0.9 이고,
병렬회로이므로 전류가 흐를 확률 P(전류) 는 1 – (0.1)(0.1) =  0.99 이다.

베이스정리에 의하여,

P(1|전류) = P(전류|1)P(1)/P(전류) 이므로
= 1 * 0.9 / 0.99 = 0.909… = 90.91 %

병렬회로에서 전류가 흘렀음을 알고 있다고 해도 정상일 확률은 단1%도 안 올라간다.
답은 대략 90.91%이다.

위 그림처럼 스위치를 하나 더 붙여서 회로를 구성하였고, 스위치를 모두 on 시켰을 때 a에서 b로 전류가 흘렀음을 확인하였다면 이 경우 스위치 1이 정상일 확률은?

예제6) 범죄현장의 DNA

살인사건의 용의자 3명이 잡혔다. 이중에 한명의 소행임이 분명하나, 세명다 범행을 완강히 부인하고 있어 진범을 못찾고 있는 가운데 국과수에서 연락이 왔다. 범죄현장에서 살인자의 것으로 추정되는 DNA가 발견됐고 용의자중 1명의 DNA와 일치한다고 하며, 이런 일치는 100만명중 1명꼴이라고 한다. 해당 용의자가 진범일 확률은?

잡혔는데도 자백안하다니 일도이부삼백사전을 아는 놈 아닌가? 나쁜 놈.
어째튼 문제를 풀자.

그렇군, 99.9998%이상의 확률로 범인이군.
빽이나 돈써서 빠져나가지 못하기를…

문제를 푸는 김에 조금 더 해보자. 이 사건이 서울에서 발생했고,
서울시민이 딱 1000만이며 서울시민만이 이 사건에 관계된다고 하자.
용의자가 한명도 없는 상태에서 지하철로 집에가는 당신을 붙잡아
DNA검사를 했는 데 우연히도 일치 했다면 당신이 범인일 확률은?

얼라리요? 애거사크리스티의 추리소설 분위기네…
내가 범인으로 몰리는 불상사가 생길 수도 있군…

대충 생각해도 백만분의 1의 일치도에 천만명이라면
10명은 일치한다는 뜻이니, 그 10명중 1명이라면 범인인 확률은 10% 정도겠군

예제7) 몬티 홀(Monty Hall)

빨강,노랑,파랑 3개의 문이 있다. 이중 하나에만 상품이 있다. 당신은 단 하나의 문만 열 수 있고, 열어서 상품이 있다면 당신 것이다. 당신이 빨강문을 가르켰다. 어느 문에 상품이 들어있는 지 알고 있는 사회자가 노랑문을 열어보이며 상품이 없음을 보여준다. 당신은 선택을 바꿔 파랑문을 선택할 것인가? 아니면 그대로 빨강문을 고수할 것인가? 확률적으로 어느쪽이 유리할까?

좋은 풀이는 [위키피디아의 몬티 홀 문제]를 참조한다.

예제8) 스팸 필터

겨울연가를 성공적으로 마친 배용준씨는 인기만큼 스팸메일도 많이 받는 편이다. 지금까지 배용준씨가 받은 이메일의 80%는 스팸메일이었다. 메일의 단어들을 조사해보니 95%의 스팸메일에서 ‘대출’을 볼 수 있고, 정상메일의 2%에서도 ‘대출’을 볼 수 있었다. 방금전 받은 메일에 ‘대출’이라는 단어가 들어있을 경우 이 메일이 스팸일 확률은?

앞서 예제들을 다 풀어봤다면 매우 단순한 문제다.
먼저 수식화를 하자.

파이썬으로된 오픈소스 베이지안 스팸필터 소스는 아래에서 받으실 수 있습니다.
Bayesian anti-spam classifier written in Python.

예제9) 스팸 필터 #2

2008년7월 은퇴할 모든 준비를 마친 빌게이츠(Bill Gates)씨는 남는 건 시간뿐이라서 자신이 지난 한달간 전세계로 부터 받은 10만통의 메일을 하나씩 조사해보았다. 조사 결과는 아래와 같다.

. 전체 메일의 70%가 스팸메일이다.
. 스팸메일의 90%는 단어 ‘click’을 포함하고 있다.
. 스팸메일의 80%는 단어 ‘teens’를 포함하고 있다.
. 정상메일의 20%는 단어 ‘click’을 포함하고 있다.
. 정상메일의 5%는 단어 ‘teens’를 포함하고 있다.

만약 새로운 메일이 click과 teens만을 포함하고 있다고 할때, 빌게이츠씨가 지난 한달간의 메일로 학습시킨 베이지안 스팸필터를 통하여 스팸이라고 판단할 확률은?

‘큰 부는 사회에 되돌려 줄 큰 책임이 따르며, 또 최선의 방식으로 돌려줘야 한다’
빌게이츠가 자신의 말대로만 한다면 그는 노벨만큼 역사에 남을 정말로 멋쟁이 부자.

 =                     P(click&teens|스팸)P(스팸)                       
   P(click&teens|스팸)P(스팸) + P(click&teens|~스팸)P(~스팸)
 
읔… 여기서 문제가 발생했다.

이를 위해서는 한가지 커다란 가정을 해야한다.

두 단어 click과 teens는 서로 아무런 관계 없이 독립적으로 나타난다고 하자.

이 가정을 이용하면,

                       P(click&teens|스팸)P(스팸)                       
   P(click&teens|스팸)P(스팸) + P(click&teens|~스팸)P(~스팸)

=                           P(click|스팸)P(teens|스팸)P(스팸)                               
   P(click|스팸)P(teens|스팸)P(스팸) + P(click|~스팸)P(teens|~스팸)P(~스팸)

=                   0.9 * 0.8 * 0.7                
      0.9 * 0.8 * 0.7   +   0.2 * 0.05 * 0.3

예제10) 스팸 필터 #3

폴 그레이엄(Paul Graham)씨는 벤처기업 Viaweb을 창업하여 부자가 되긴 했지만  빌게이츠(Bill Gates)씨만큼의 돈과 시간을 가지진 않았기 때문에 자신의 전자메일함에 있는 모든 단어를 수작업으로 하나씩 검토하기 보다는 자신의 해커적 기질을 발휘한 간단한 리스프(lisp)프로그램을 작성하여 분석하기로 하였다.

폴그레이엄씨는 먼저 정상메일과 스팸메일에 각각에 대하여 등장하는 모든 단어에 대한 빈도수를 나타내는 해쉬테이블을 만들었다.
 
정상메일의 갯수를 ngood 라 하고,
정상메일에 대한 단어별 빈도수 해쉬테이블을 good 라 하자.
또한, 스팸메일의 갯수를 nbad 라 하고,
스팸메일에 대한 단어별 빈도수 해쉬테이블을 bad 라 하자.

그리고, 또 하나의 해쉬테이블을 만들어 특정한 단어가 포함된 이메일이 스팸일 확률을 담고 있도록 하였다. 이메일이 스팸일 확률은 아래 리스프 코드로 계산된다.

(let ((g (* 2 (or (gethash word good) 0)))
      (b (or (gethash word bad) 0)))
   (unless (< (+ g b) 5)
     (max .01
          (min .99 (float (/ (min 1 (/ b nbad))
                             (+ (min 1 (/ g ngood))  
                                (min 1 (/ b nbad)))))))))

이 세번째 해쉬테이블을 통하여 단어 ‘섹스’가 포함된 이메일이 스팸일 가능성이 97%이고 ‘섹시’가 포함된 이메일이 스팸일 가능성이 99%라고 했을 때, 두 단어를 모두 포함하고 있는 이메일이 스팸일 확률은?

폴그레이엄이 좋아하는 언어가 일반 프로그램들이 잘 모르는 리스프 코드라서 조금 설명이 필요할 것 같군. 리스프는 코드가 짧아서 좋긴 하지만, 상용제품이 너무 없고, 괄호가 너무 많아서, 초보자가 익숙해 지는데는 시간이 많이 필요할 것 같아.

let (g (* 2 (or (gethash word good) 0))) …
g를 계산할 때 2를 곱해주는 것은 정상메일을 두번씩 수신한 효과가 있겠군. 다른 부작용은 없으니 일단 인정.
 
(unless (< (+ g b) 5) ...
단어의 등장횟수가 5번이상일 때만 확률을 따지게 했고,

(float (/ (min 1 (/ b nbad))
            (+ (min 1 (/ g ngood))  
                (min 1 (/ b nbad)))))
위 코드를 수식으로 다시 쓰자면 아래와 같다.

지금까지 조건부 확률, 베이스의 정리에 대하여 배우고, 10개의 예제를 풀어보았다. 앞서의 예제가 어떤 사건이 일어나느냐 아니냐의 이분법적인 확률을 따졌다고 한다면, 여기서는 여러개의 카테고리 중에서 어느 카테고리에 가장 잘 매칭하는 가 하는 분류기법으로 베이지안을 사용하는 방법을 공부한다.

– 끝 –