IT게시판
신호와 소음-미래는 어떻게 당신 손에 잡히는가? 베이즈 정리
신호와 소음(미래는 어떻게 당신 손에 잡히는가)
네이트 실버
빅데이터에서 미래를 보고 싶다면… 소음과 신호 감별법
네이트 실버는 2012년 미국 대선에서 버락 오바마 대통령의 승리를 정확하게 예측해 유명인사가 됐다. 그가 자신의 통계학과 예측 철학을 담아 출간한 '신호와 소음'은 뉴욕타임스 15주 연속 베스트셀러에 올랐다.
미국 출간 당시 뉴욕타임스에 15주 연속 베스트셀러에 올랐으며 아마존이 올해의책으로 선정하는 등 뜨거운 주목을 받았다.
책이 말하는 ‘소음’과 ‘신호’는 각각 잘못된 정보와 의미 있는 정보를 가리킨다. 범람하는 정보 속에서 쓸만한 신호를 제대로 가려내기만 한다면 정치나 테러 같은 거대한 사안뿐 아니라 개인 삶의 소소한 부분도 예측이 가능하다는 것이다.
실버는 선거예측가로 주목 받기 전 야구와 도박에서 실력을 검증 받은 바 있다. 시카고대학에서 경제학을 전공한 그는 2002년 회계컨설팅회사에 입사했으나 지루한 컨설팅 업무 대신 메이저리그 선수들의 성적을 예측하는 새로운 취미에 몰두했다. 그는 ‘페코타’라 이름 붙인 통계 예측 프로그램을 개발해 놀라운 적중률을 보였으며 이 통계기법을 카지노에서 활용해 단번에 1만5,000달러를 따냈다. 회사를 그만둔 그는 포커판에서 수십만 달러를 긁어 모으며 승승장구했으나 2006년 의회가 인터넷 포커 게임을 금지하려는 움직임을 보이자 그때부터 정치에 관심을 가졌다. 실버의 눈에 비친 정치 전문가들의 선거 예측은 형편 없었다. 전문가들의 예상과 그 결과를 비교해 통계 낸 결과 적중률은 동전 던지기와 비슷한 50%선이었다. 그는 본격적으로 선거 예측에 뛰어들었고 2008년 총선 결과를 예측하는 블로그 ‘파이브서티에이트(538?미국 선거인단 수)’를 개설했다.
책은 실버가 선거 결과를 맞힌 비법뿐 아니라 포커판에서 상대의 허풍을 간파하는 법, 9ㆍ11테러를 예측하지 못한 이유 등 대중이 관심 있어할 만한 사안에 대해 통계와 확률을 접목시켜 이야기를 풀어나간다. 실버는 정확한 예측을 위해서는 예측에 부합하는 태도와 철학을 가져야 한다고 강조하는데 책의 흥미로운 부분은 바로 이 지점이다. 예측이 단순히 수학 공식이 아닌 삶의 태도와 연관돼 있다는 대목은 통계나 확률에 관심 없는 이들도 귀 기울일만하다. “우리는 우리가 가지고 있는 여러 생각에 대해…그 생각들을 검증하는 방식에 대해 각기 다르게 생각해야 함을 의미한다. 확률과 불확실성을 좀 더 편안한 마음으로 받아들여야 하며, 또한 우리가 문제 삼고자 하는 가정이나 믿음을 좀 더 조심스럽게 살펴보아야 함을 의미한다.”
확률적사고?
통계적판단?
통계와 확률은 항상 업그레이드된다.?
신호는 무엇인가?
소음은 무엇인가?
신뢰할수있는 결과의 예측은 신호...
빅데이터에서 불필요한건 소음...
베이즈정리란?
Thomas Bayes 가 ‘우연이라는 원칙으로 문제를 해결하는 방법에 관한 논문’ (Essay towards solving a problem in the doctrine of chances) 에 발표한 이론이다
조건부 확률에서는 새로운 정보를 알았을 때 확률의 개선이 일어나게 된다. 가끔 우리는 어떤 실험결과에서 나온 정보를 이용하여 어떤 사건의 처음 확률을 개선시킬 수 있는데, 여기서 처음 확률은 사전확률(事前確率, prior probability)이라 하고, 개선된 확률을 사후확률(事後確率, posterior probability)이라고 하며, 이러한 확률의 개선을 이룩하는 것이 베이즈의 정리(Bayes' theorem)이다. 이러한 확률의 개선과정은 다음 그림과 같다.
베이즈정리를 통한 현대사회의 예측을 시스템화 할 수 있다.
결국은 신뢰할 수 있는 데이터가 제일 중요한 일이다..
공식을 대입하자면 기준을 잡는 것이 중요하다.
우리 일상에도 신화와 소음 그리고 베이즈정리를 통한 적용(?)이 필요할까?
멍하게 살아가는 일상에 심오한 이론을 간접 경험(?)해 본다
나에 말이 소음인지도 ... 평범하게 되풀이되는 일상에서도 신호를 느껴본다.
.
.
.
.
.
목차 일부
나는 왜 이 책을 추천하는가:여기에 당신의 미래가 보인다
송길영(다음소프트 부사장, 《여기에 당신의 욕망이 보인다》 저자)
들어가며:신호와 소음
I. 예측에 대한 근본적인 의문들
1. 경제│경제 붕괴, 왜 전문가들은 예상하지 못했는가
2. 정치│내가 선거 결과를 맞힌 비법
3. 야구│야구 경기는 왜 모든 ‘예측’의 모델이 되는가
II. 움직이는...
목차 전체
나는 왜 이 책을 추천하는가:여기에 당신의 미래가 보인다
송길영(다음소프트 부사장, 《여기에 당신의 욕망이 보인다》 저자)
들어가며:신호와 소음
I. 예측에 대한 근본적인 의문들
1. 경제│경제 붕괴, 왜 전문가들은 예상하지 못했는가
2. 정치│내가 선거 결과를 맞힌 비법
3. 야구│야구 경기는 왜 모든 ‘예측’의 모델이 되는가
II. 움직이는 과녁을 맞혀라!
4. 기상│예측의 진보,허리케인과 카오스의 원뿔
5. 지진│라퀼라의 재앙을 아무도 예상하지 못하다
6. 평균과 불확실성│숫자에 속지 마라
7. 전염병│신종플루부터 에이즈까지
III. 미래를 내 손에 움켜쥐는 법
8. 베이즈 정리│이기는 도박꾼은 어떻게 베팅하는가
9. 체스│컴퓨터가 인간처럼 미래를 내다볼 수 있을까
10. 포커│상대방의 허풍을 간파하는 법
IV. 보이지 않는 손이 세상을 움직인다
11. 주식│개인은 절대 시장을 이길 수 없을까
12. 지구온난화│얄팍한 선동인가 과학적 진리인가
13. 테러│진주만 공습과9·11테러의 공통점
나오며:예측은 어떻게 가능한가
옮긴이의 말:세상을 바라보는 새로운 눈
주註