CTO자격…‘디지털 미래를 디자인하다’ 보고서 제작
테라데이타 CTO가 참여한 미국 과학기술 자문위원회에서 빅데이터가 언급되기 시작했다. 한국 테라데이타(대표 데니스 사무엘 www.teradata.kr)는 28일 본사 발표를 인용, 美 대통령 과학기술자문위원회(PCAST, President’s Council of Advisors on Science and Technology)가 ‘디지털 미래를 디자인하다(Designing a Digital Future)’라는 최근 보고서를 통해 ‘모든 美 연방 정부기관은 ‘빅데이터’ 전략이 필요하다’라고 결론지었다.
보고서에 따르면 센서 및 새로운 데이터 소스가 급증하면서 데이터의 취합 및 관리, 분석 작업이 급속도로 중요해지고 있다고 밝혔다.
119페이지 분량의 이 보고서는 정보 폭증 및 빅데이터, 데이터 마이닝의 중요성 등에 대해 다루는 등 다섯 가지의 큰 테마로 구성하는 한편 ‘데이터를 지식으로, 지식을 행동으로 변환’하는 것에 관해 자세히 기술하고 있다.
이번 보고서 작성에는 과학기술자문위원회(PCAST)의 NITRD 프로그램 리뷰 워킹 그룹 (federal Networking and IT R&D Review Working Group)이 참여했다.
14명으로 구성된 NITRD워킹 그룹에는 테라데이타의 CTO(최고기술책임자) 스티븐 브롭스트(Stephen Brobst)가 포함돼 있다.
브롭스트는 기술의 전략적 활용에 대한 기회 발굴 및 규명에 있어 전세계적인 비즈니스 및 정부 고객들을 지원해 전문성을 보유한 것으로 알려져 있으며 데이터 웨어하우징 인스티튜트(TDWI) 행사의 주요 연사로도 유명하다.
브롭스트는 “우리는 이제 ‘제타바이트 시대(Zettabyte Age)’에 진입했다. ‘모든 연방 정부 기관이 빅데이터 전략을 꾀해야 한다’는 명제는 더 이상 과장이 아니다. NITRD 워킹 그룹에 속한 나와 동료들은 이 전략이 반드시 필요하다는 사실에 동의하며 실제적으로 선두 기업 들은 이미 빅데이터 전략을 보강해 나가고 있다”고 말했다.
또한 브롭스트는 “미국 시민들에 대한 연방 정부의 약속이 바로 개방성과 투명성이기 때문에 정부기관들은 지금 바로 빅데이터 전략을 실행하는 것이 중요하다. 이를 위해 동시다발적인 복잡한 쿼리를 처리할 수 있고 폭넓은 대시보딩 (dashboarding) 및 빠른 기능, 다양한 데이터 소스에서 대용량 데이터를 함께 분석하는 워크로드 최적화 등이 가능한 강력한 데이터 관리 시스템이 필요하다”고 덧붙였다.
브롭스트는 페타바이트급 빅데이터를 관리하고 있는 여러 고객사들과 폭넓은 경험을 쌓아왔다.
이베이(eBay)를 포함한 테라데이타의 주요 고객사들은 글로벌 웹에서 데이터 마이닝을 활용중이다.
한편, ‘빅데이터’라는 용어는 일정 경과시간 내 데이터 프로세싱, 저장 및 관리를 위해 일반적으로 사용되는 소프트웨어 툴의 능력을 초과하는 규모의 데이터 세트로 정의되고 있다.
빅데이터 소스의 예는 웹 로그, 센서 네트워크, 소셜 미디어, 통신 네트워크에서 저장된 상세 정보, 천체 관측, 생물학적 시스템, 군사 방위, 의학 기록, 사진 및 비디오 아카이브 등이다.
빅데이터는 대용량 정보를 효율적으로 프로세싱할 수 있는 특별한 기술이 요구된다.
무공유(shared nothing) 방식의 관계형 데이터베이스, 맵리듀스(MapReduce) 프로그래밍 프레임워크, 클라우드 인프라스트럭처 등의 고급 MPP(대용량 병렬 프로세싱, Massively Parallel Processing) 프레임워크는 빅데이터 분석에서 필수적이다.
<김동기 기자>kdk@bikorea.net
저작권자 © 이슈와뉴스 무단전재 및 재배포 금지
