빅데이터를 지배하는 통계의 힘
우리에게 필요한 것은 통계적 사고다!
빅데이터 시대에 통계의 중요성을 인식시키고
통계적 사고를 길러주는 미래 예측 전략서
탐 크루즈의 <마이너리티 리포트>란 영화를 본 적이 있는가? 그 영화에서 사람들이 쇼핑센터를 지날 때 보면, 고객의 동공을 스캔해서 인식한 광고판이 각각의 사람에게 지금 당장 필요한 물건을 파악하여 사라고 말하며 호객을 한다. 이러한 마케팅의 뒤에는 고객의 기호도, 감정상태, 소비 패턴 등의 저장된 빅데이터를 활용한 고객 분석 기법이 존재한다.
빅데이터란 일차적으로 데이터의 양이 방대해 종래의 방법으로는 수집, 저장, 검색, 분석하기 어려운 것을 말한다. 이차적으로는 그런 큰 데이터를 여러 기법을 이용해 유의미한 정보로 만들어내는 과정까지를 포함한다. 2011년 하반기부터 우리나라에서도 무한경쟁의 세상을 헤쳐 나갈 새로운 블루오션으로 빅데이터란 말이 대유행하기 시작했다. 삼성경제연구소는 2013년 10대 트렌드의 하나로 빅데이터를 지목하며 이것이 미래의 성장 동력이 될 거라고 그 중요성을 강조했다.
그런데 사실상 빅데이터는 오래전부터 우리 삶에 이미 들어와 있는 매우 실용적인 개념이라고 이 책의 저자는 말한다. 또한 빅데이터 시대에 해독능력을 위한 통계적 사고를 강조한다. 모든 분야에서 데이터를 모아 분석해 가장 올바르고 빠른 답을 알려주는 실용적인 학문인 통계는 과학적 의사결정의 근거가 되기에 현대 비즈니스맨이 지녀야 할 최강의 무기라는 것이다.
이 책은 일본에서 통계 관련 서적으로는 이례적으로 출간 3개월 만에 40만 부가 팔리는 이례적인 현상을 불러일으키며 상반기 경제경영 분야 베스트셀러 1위에 올랐다. 문제 해결에 있어서의 ‘최선의 척도’로 통계의 역할을 새롭게 인식한 이 책은 통계학을 공부하려는 사람을 위한 책이 아니라, 지금 이 순간 당신의 업무에, 기업에, 속한 공동체에 업무 비용을 줄이고 창조적인 경영을 계획할 수 있게 하는 최고의 활용서이다.
왜 다시 통계를 말하는가!
- 빅데이터 시대, 최강의 무기 통계
확률과 데이터를 읽는 기본 능력인 통계 리터러시가 없다면, 빅데이터는 단순히 ‘빅’ 인 상태로 고정된 채 그 어떤 역할도 해낼 수 없다고 저자는 말한다. 사실상 빅데이터는 오래전부터 우리 삶과 밀접한 매우 실용적인 개념이다. 우리에게 익숙한 예전부터 알고 있던 말로 바꾸면 ‘통계’, ‘통계 해석’과 같은 의미이다.
통계란 어떤 현상을 종합적으로 한눈에 알아보기 쉽게 일정한 체계에 따라 숫자로 나타내는 것을 말하고 통계 해석이란 조사를 통해 밝혀낸 수치가 어느 정도의 신뢰성과 유의미성을 갖는지, 인과관계의 방향은 어떠한지, 어떤 사실 관계를 알 수 있는지 등을 밝혀내는 것이다. 그래서 빅데이터를 이해하려면 먼저 100년 이상 다양한 기법을 축적해온 통계의 본질을 알아야 하며, 그런 의미에서도 “통계학은 최강의 학문이다”라는 게 이 책의 주장이다.
저자는 현대를 살아가는 모든 사람이 통계를 읽는 힘을 갖춰야 하는 이유와 빅데이터 시대에 실제로 응용 가능한 통계 활용법을 친절하게 설명하는데, 특히 저자가 통계를 이용해 실제 기업 컨설팅을 해준 사례는 통계가 어떻게 정답을 찾아주고, 이익을 만들어내는지 명확하게 보여준다. DM 발송 방식을 변경하는 사소한 조정으로 60억 엔의 추가 이익을 얻어낸 기업 사례, 통계의 기본 개념인 오차를 모르고서 단순히 0.1퍼센트의 수치 상승에 기뻐하며 의사결정을 내려 낭패한 국가 정책 사례는 최고결정자의 감이나 경험보다 우선해야 할 통계적 사고의 중요성을 다시 한 번 강조한다. 또한 오바마 캠프의 승리 이유나 ‘재봉틀 두 대 사면 10퍼센트 할인’이라는 엉뚱한 착상이 매출을 3배 이상 끌어올린 사례, 맥주와 기저귀의 구매 분석 등은 통계의 힘이 승자의 전략, 승리의 포인트라는 점을 다시금 알게 해준다.
빅데이터만으론 변화가 일어나지 않는다
- 통계가 당신의 선택을 바꾼다!
데이터가 언제 어디서나 거의 무료로 이용 가능한 현대와 같은 환경에서는 데이터를 찾아내고, 그것을 이해하고, 거기서 가치를 끌어내며 그 결과를 다른 사람과 소통할 수 있는 능력을 갖춘 전문 데이터 분석가가 경쟁에서 살아남는다. 최근 데이터 분석가의 인기가 높아지면서 필요성을 느낀 각 기업마다 전문 인력 확보에 주력하다 보니 각 대학마다 통계과가 최고 인기과로 각광을 받고 있는 추세다. 즉 이전 시대가 정보를 수집하는 사람이 승자였다면, 이제는 “통계를 지배하는 자가 세계를 지배하는 시대”가 된 것이다.
이 책은 통계와 관련된 역사적 사건부터 업무에 꼭 필요한 통계 기법, 그리고 다양한 활용 분야를 알려준다. 특히 저자가 직접 경험한 사례들을 이용해 통계의 원리와 구체적인 활용 방법, 그리고 6가지 주요 분야인 사회조사법, 역학생물통계학, 심리통계학, 데이터마이닝, 텍스트마이닝, 계량경제학 등의 개념을 비전공자도 이해하기 쉽게 설명하는 게 이 책의 매력이다.
통계와 관련된 전문용어와 수치가 자주 등장해서 얼핏 보기엔 어려워 보여도 기업이나 사회 각 분야에서 통계를 활용한 사례를 설명하는 방식으로 구성되어 독자는 자신에게 필요한 기법이 무엇인지 바로 알 수 있고, 활용 역시 쉽다. 또한 통계가들의 관점 차이로 빚어진 논쟁과 빈도론파와 베이즈파의 확률을 둘러싼 대립이 에피소드 형식으로 소개되어 통계라는 분야를 이해하는 또 다른 재미를 더한다. 아울러 유용한 데이터를 얻기 위한 검색 요령도 마지막 부분에 간략하게 다루고 있다.