70배 빠른 빅데이터 분석 시스템 투픽스(TuPiX) 개발
작성자 강동기
작성일
2016-05-17
□ 한국과학기술정보연구원이 기존의 상용 빅데이터 분석 플랫폼보다 약 70배* 빠른 다차원 빅데이터 분석 기술 개발에 성공했다.
*동일한 컴퓨팅 환경에서 전통적인 데이터베이스 관리 시스템(DBMS)이나 빅데이터 처리 프레임워크 하둡(Hadoop) 등을 적용한 시스템과 비교한 결과
□ 이번에 개발한 빅데이터 분석 시스템인 ‘투픽스(TuPiX, Turning Pixels into Knowledge and Science)’는 클러스터와 같은 빅데이터 처리 환경에서 데이터 처리 및 분석에 소요되는 시간을 획기적으로 줄였다.
o 데이터 저장 및 계산 방식의 변화를 통해 대용량 데이터를 병렬분산처리할 때 발생하는 원형 데이터의 전처리‧불러오기‧재구성 과정 없이 바로 원형 데이터에 접근하는 방식을 취한다.
□ 투픽스의 또다른 장점은 환경설정에서 손쉽게 필요한 만큼 컴퓨팅 노드를 추가‧연동할 수 있다는 것이다.
o 고가의 컴퓨팅 자원뿐만 아니라 대중적인 개인용 컴퓨터(PC) 수준의 사양으로도 클러스터를 구성할 수 있어, 고성능 하드웨어를 도입하기 어려운 소규모 조직의 경우 인프라 구축 비용을 크게 절감할 수 있다.
□ KISTI는 이번에 한국해양과학기술원과 극지연구소에 위성영상 및 해양연구에 필요로 하는 기관의 특성을 고려해 맞춤형 분석 및 가시화 기능을 추가한 투픽스 오션 컬러(TuPiX Ocean Color) 시스템을 무상 기술이전했다.
(더 자세한 내용은 보도자료 참고)