이전 글 확률 이야기에 다음과 같은 댓글이 있었다.

근데 직관이라는 게 경험의 축적도 상당히 영향을 미친다는 점에서, 같은 카테고리 내의 문제에 대한 경험이 많은 사람이라면 최소한 crucial 한 요인들을 배제하는 경우는 거의 없지 않을까?

물론 해당 분야의 전문 지식은 매우 중요하다. 아무래도 해당 분야의 기반이 전혀 없는 상황에서 접근하는 것보다는 있는 편이 당연히 유리하다. 하지만 많은 시간 쌓아온 직관도 모든 중요한 정보를 골라낼 수는 없다.

신약 개발을 하고 임상 실험을 하는 것을 생각해보자. 신약 개발은 제대로 검증되지 않는다면 심각한 경우 정말 큰 규모의 참사가 일어날 수 있기 때문에 검증을 굉장히 빡빡하게 하는 편이다. 당연히 이 과정에는 도메인 날리지(domain knowledge)를 충분히 숙지한 전문가들이 투입되어 약이 어떤 조건에서 부작용을 일으키는지 목록을 만들고 예측하지 못한 부작용이 없도록 많은 노력을 기울인다. 그런데 이렇게 해서 정말로 "crucial 한 요인"들을 다 잡아낼 수 있을까? 혹은 대부분 잡아낼 수 있을까?

얼마 전 Data-Driven Prediction of Drug Effects and Interactions이란 이름의 논문이 발표되었다. 논문을 간단히 요약하면 "데이터 마이닝 기법을 도입하여 기존에 발견할 수 없었던 수백 가지의 부작용들을 발견할 수 있었다." 정도가 되겠다*. 이건 단순히 "Machine learning FTW!" 수준의 이야기에서 끝나면 안 된다. 중요한 것은 결국 현실에서 만나게 되는 복잡한 문제들은 도메인 날리지를 기반으로 하여 모델링이 되고 여기에는 언제나 생각지 못한 구멍이 있을 것이라는 거다. 위에서 언급한 경우에는 이 부족한 부분을 머신 러닝을 활용해서 메꾸려고 시도한 것이지만 당연히 아직도 알려지지 않은 부작용은 굉장히 많을 것으로 생각한다.

신약 개발처럼 굉장히 광범위한 검증을 거치는 경우에도 이처럼 생각지 못한 구멍이 많이 발생하는데 그렇지 않은 분야는 그 상황이 훨씬 심할 것이라는 게 내 생각이다. 내가 하고 싶은 말은 도메인 날리지가 나쁘다는 것이 아니라 그것만으로 현실 세계의 문제를 모델링하고 풀이를 제시하는 것은 부족하다는 것이다. 뭔가 놀라운 기술적, 방법적 혁신이 있지 않는 한 아직 이 문제를 푸는 것은 요원해 보인다.

_{*: Algorithm Finds Thousands of Unknown Drug Interaction Side Effects}

세 개의 문 중에 하나를 선택하여 문 뒤에 있는 선물을 가질 수 있는 게임쇼에 참가했다. 한 문 뒤에는 자동차가 있고, 나머지 두 문 뒤에는 염소가 있다. 이때 어떤 사람이 예를 들어 1번 문을 선택했을 때, 게임쇼 진행자는 3번 문을 열어 문 뒤에 염소가 있음을 보여주면서 1번 대신 2번을 선택하겠느냐고 물었다. 이때 원래 선택했던 번호를 바꾸는 것이 유리할까?

이 문제는 이미 널리 알려진 몬티 홀 문제이다. 문제의 답은 잠시 뒤로 미루기로 하고 다른 문제를 한 번 보도록 하자.

세 개의 상자가 있다. 하나의 상자는 두 개의 금동전이 들어있고, 다른 하나는 두 개의 은동전이 들어있다. 그리고 마지막 상자는 금동전 하나와 은동전 하나가 들어있다. 하나의 상자를 임의로 선택한 뒤, 임의로 동전을 하나 꺼냈는데 금동전이었다. 나머지 하나의 동전도 금동전일 확률은 얼마일까?

이 문제도 꽤 유명한 문제인데, Bertrand's box paradox라고 한다. 사실 위의 두 문제는 논리적으로 같은 구조로 되어 있다. 첫 번째 문제의 답은 "선택을 바꾸는 것이 유리하다."이고, 두 번째 문제의 답은 2/3이다. 세세한 답을 설명하는 것이 이 글을 쓰는 목표는 아니니 설명은 그냥 넘어가도록 하자.

나는 이런 문제가 주어졌을 때 한숨부터 나오는 편이다. 어떤 사람들은 직관적인 해답이 보이는 경우도 있을 것이고 어떤 사람들은 조건부 확률을 계산해서 문제를 풀었을 수도 있다. 하지만 어떤 방식으로 풀든지 기본적으로 타인에게 나의 답을 설득하기가 쉽지 않다. 이는 나 자신에게도 적용이 똑같이 되는 말이다. 내가 풀고 나서도 나의 해답이 확신이 들지 않는 경우가 많다. 그래서 보통은 문제를 모델링하고 프로그램을 작성해서 몬테 카를로 방법으로 결과를 확인하는 편을 선호한다.

여기까지 놓고 보면 확률 문제가 간혹 비직관적이긴 하더라도 조건부 확률만 잘 따질 줄 알면 될 것 같다. 최악의 경우에는 몬테 카를로 방법에 기댈 수도 있다. 적어도 나는 예전에 그렇게 생각을 했었다. 그리고 화요일에 태어난 아들 문제를 만났다.

어떤 집에 자식이 둘이 있다. 그 중 하나가 아들인데 화요일에 태어났다. 다른 한 명도 아들일 확률은?

이게 정답이 13/27이란다. 물론 조건부 확률 계산을 해보면 그렇게 결과가 나온다. 아니면 실제로 카운팅을 전부 해보면 같은 결과를 얻을 수도 있다. 못 믿겠으면 14 x 14 테이블을 그려서 아들, 아들인 경우만 색칠해보면 금방 수긍이 될 거다.

내가 이 문제에서 느낀 무력감은 그전까지 느껴왔던 확률 계산의 비직관적인 부분과 많이 달랐다. 이전에 봐온 문제들은 아무리 결과가 비직관적이라고 해도 내가 어떠한 조건을 문제에 포함해야 좋은지는 뻔하게 보였다. 하지만 이 문제는 아무리 생각을 해봐도 도무지 화요일에 태어났다는 정보가 중요하다는 사실이 직관적으로 보이질 않는다. 확률 계산 자체가 직관적으로 안 된다는 게 아니라 확률 계산에 필요한 정보를 직관적으로 찾아낼 수가 없다는 말이다. 이 문제의 경우에는 이렇게 예쁘게 포장이 되어있지만 현실에서 만나는 문제들은 훨씬 더 많은 쓰레기 정보들 틈에서 만나게 될 터인데, 그 상황에 놓였을때 나는 문제를 푸는 데 필요한 정보를 솎아낼 자신이 없다.

여전히 확률 모델을 많이 사용하여 문제를 모델링하고 풀지만 무엇인가 빼놓은 것 같은 느낌이 계속 들고, 마음속에는 "이건 뾰족한 수가 없다." 정도의 생각이 끊이질 않는다.

위의 문제의 해답이 이해가 되지 않는 분을 위해 표를 그려보았다.