소프트웨어대학 컴퓨터소프트웨어학부

‘빅데이터’라는 단어가 세상에 등장한 지 약 10년이 지났다. ‘권불십년’(權不十年·권력은 오래 가지 못하고 늘 변한다)이라는데 빅데이터는 날이 갈수록 임팩트가 거세다. 빅데이터는 전문지식을 갖춘 일부 학자나 엔지니어의 영역이 아니라, 평범한 샐러리맨의 생존을 위한 필수 교양이 됐다. 빅데이터는 2013년에 미국 언어리서치 전문기관인 글로벌 랭귀지 모니터(GLM)가 선정한 가장 헷갈리는 단어 1위를 차지했다. 불과 최근까지도 실체가 잘 파악이 안 되는 애매한 단어였다. 그런데 이제 안개가 걷히고 빅데이터라는 거대한 실체가 뚜렷이 사회중심부에 자리 잡고 있다.

빅데이터 기술의 태동은 언제일까. 2005년쯤으로 거슬러 올라간다. 야후의 엔지니어였던 더글러스 커팅이 많은 수의 컴퓨터를 연결해 하나의 큰 스토리지처럼 사용할 수 있는 소프트웨어를 개발해 공개한다. 그는 소프트웨어의 이름을 아들의 코끼리 인형이름을 따 명명했다. 그 소프트웨어의 이름이 ‘하둡’이다. 그전까지는 대용량의 데이터를 저장하고 검색하기 위해서는 매우 고가의 저장장치를 필요로 했다. 하둡이라는 소프트웨어를 이용해 비로소 방대한 양의 데이터를 싼값에 관리할 수 있게 된 것이다.

원유집 한양대 교수·컴퓨터공학

하둡이라는 이름의 간단한 소프트웨어가 세상에 등장하면서 빅데이터 시대의 여명이 밝아오기 시작한다. 서너 대의 컴퓨터 연결로 시작된 하둡 소프트웨어는 지난 십수년간 지속적으로 발전했다. 2020년까지 전 세계 하둡 관련 세계시장 규모는 20조원 정도 될 것으로 예측되고 있다. 두 명이 시작한 소프트웨어가 수십 개의 스타트업(신생 벤처기업)을 탄생시키고 20조원 시장을 생성할 것으로 예측되는 것이다. 빅데이터 관련 소프트웨어의 파괴력을 여실히 보여주고 있다.

데이터를 다루는 능력 함양은 전공을 불문하고 이제 선택이 아니라 필수다. 직장인 사이에서 데이터 분석용 통계패키지에 대한 그룹 스터디가 붐이다. 주어진 데이터의 평균과 분산을 구한다. 이를 그래프로 표현한다. 각 인자 간의 상관관계를 구하고, 인과관계 성립 여부를 가설을 이용해 신뢰도 분석을 해본다. 통계학 전공생의 이야기가 아니다. 직장인이 해보는 빅데이터 분석도구 실습사례다. 미국의 하버드, 스탠퍼드 등 일류 대학을 필두로 데이터 사이언스 대학원 전공과정이 개설되고 있다. 인기 폭발이다. 각종 데이터를 수집하고, 이를 위한 데이터베이스(DB)를 구축하고, 소프트웨어 프로그램을 사용해 이를 분석하는 기법을 학습한다.