□ 한국과학기술정보연구원(원장 직무대행 문영호, 이하 KISTI)은 대용량 과학데이터를 전송하는 미들웨어「빅데이터 익스프레스(Big Data Express)」를 미국 페르미국립가속기연구소(Fermilab), 오크리지국립연구소(Oak Ridge National Laboratory)와 공동 개발했다고 밝혔다.
ㅇ「빅데이터 익스프레스(Big Data Express)」는 대용량 과학데이터를 신속하고, 효율적으로 전송하는 기술이다.
□ 과학적인 발견 및 실험에서 생산되는 데이터의 규모가 급속히 증가함에 따라 데이터의 생산, 확보, 저장, 전송 등 데이터 처리 기능이 매우 중요해지고 있다.
ㅇ 가속기 및 관측 장비 등 대형 연구 장비에서 생산되는 데이터의 규모가 페타급*으로 증가함에 따라 단일 기관에서 대용량 데이터 처리가 불가하여 국제공동으로 데이터 공유를 위한 전송기술의 고도화가 필요하다.
* 1페타바이트(PB) : 1기가바이트(GB) 영화 100만 편, 1시간 짜리 영화를 114년 동안 봐야하는 용량
※- CERN(유럽핵입자물리연구소) 대형 강입자 충돌기(LHC) 실험 : 연간 50PB 생산
- 대형 시놉틱 관측 망원경(LSST) : 연간 10PB 생산
- 천문망원경 SKA 프로젝트 : 연간 60PB 생산
ㅇ「빅데이터 익스프레스(Big Data Express)」는 대용량 과학데이터 전송의 효율성을 극대화 하는 기술로, 기존 데이터 전송방법들이 가진 문제점**을 극복하기 위한 목적으로 개발되었다.
** ① 데이터 전송구간에 존재하는 다양한 장비로 인해 전체적인 데이터 전송의 비효율성 문제 발생
② 데이터 전송방법 간 상호 간섭을 최소화하는 효율적인 방안 필요
③ 다양한 데이터 전송 노드 간 효율적인 통신 방안 제공 불가
ㅇ KISTI 자체 테스트에 따르면 과학데이터 전송에 자주 사용되는 GridFTP*** 보다 1/3 정도 높은 성능을 보였으며, 과학데이터 전송 시 가장 문제되는 것 중에 하나인 LOSF문제**** 테스트의 경우 GridFTP 보다 약 100배 정도 빠른 전송 속도를 보였다.
* GridFTP : 그리드 컴퓨팅 환경에서 데이터 전송을 빠르게 하기 위한 FTP 기술
** LOSF(Lots Of Small File) : 다수의 파일을 전송할 경우, 빠른 데이터 전송속도에 비해 상대적으로 느린 메모리 I/O 속도 차이로 인해 전체적인 데이터 전송 속도가 느려지는 문제
□ KISTI는 이번 공동연구를 통해 데이터 전송 SDN(Software Defined Network) 네트워크인 아메바넷(AmoebaNet)을 개발하였으며, 국제공동연구 결과인 「빅데이터 익스프레스(Big Data Express)」 미들웨어는 14일(미국 현지시간) 미국 덴버에서 열린 ‘슈퍼컴퓨팅 컨퍼런스 2017’에서 대륙 간(한국-미국) 데이터 전송을 성공적으로 시연했다.
□ 「빅데이터 익스프레스(Big Data Express)」를 통해 대형 연구 장비를 비롯한 과학기술분야의 대용량데이터 공유가 신속하게 이루어질 수 있으며, 국내 연구자들은 원하는 과학데이터를 복잡한 설정 필요 없이 손쉽게 전송하거나 받을 수 있다.
□ KISTI 노서영 대용량데이터허브실장은 “거대과학에서 요구되는 대형실험장비 및 관측 장비에서 생산되는 대용량 과학데이터를 국내 연구자들이 손쉽고, 신속하게 전송받아 분석할 수 있는 연구환경을 제공할 수 있다”며 “이를 통해 국내 데이터집약형 연구의 가속화가 기대된다.”고 밝혔다.
[참고 자료 : 그림 설명]
[ BigData Express 아키텍쳐 ]
BigData Express Client
Data transfer requests/status
BigData-Express Middieware Service
[참고 자료 : 사진 설명] - 사진은 첨부 참조
빅데이터익스프레스(1)
빅데이터익스프레스(2)
빅데이터익스프레스(3)
[빅데이터 익스프레스(1)/(2)] - 빅데이터익스프레스 미들웨어가 탑재된 전송 서버를 점검하는 연구원
[빅데이터 익스프레스(3)] - 빅데이터익스프레스 미들웨어 설정을 점검하는 연구원
본 저작물은 “공공누리 제4유형(출처표시, 상업적 이용금지, 변경금지)” 조건에 따라 누구나 이용할 수 있습니다.