본문 바로가기 주메뉴 바로가기

KISTI, 대용량 과학 데이터 전송 속도 1/3 단축 - 미들웨어‘빅데이터 익스프레스’개발-

이미진 2017-11-15 View. 15,020

한국과학기술정보연구원(원장 직무대행 문영호, 이하 KISTI)은 대용량 과학데이터를 전송하는 미들웨어빅데이터 익스프레스(Big Data Express)를 미국 페르미국립가속기연구소(Fermilab), 오크리지국립연구소(Oak Ridge National Laboratory)와 공동 개발했다고 밝혔다.

빅데이터 익스프레스(Big Data Express)는 대용량 과학데이터를 신속하고, 효율적으로 전송하는 기술이다.

과학적인 발견 및 실험에서 생산되는 데이터의 규모가 급속히 증가함에 따라 데이터의 생산, 확보, 저장, 전송 등 데이터 처리 기능이 매우 중요해지고 있다.

가속기 및 관측 장비 등 대형 연구 장비에서 생산되는 데이터의 규모가 페타급*으로 증가함에 따라 단일 기관에서 대용량 데이터 처리가 불가하여 국제공동으로 데이터 공유를 위한 전송기술의 고도화가 필요하다.

* 1페타바이트(PB) : 1기가바이트(GB) 영화 100만 편, 1시간 짜리 영화를 114년 동안 봐야하는 용량

- CERN(유럽핵입자물리연구소) 대형 강입자 충돌기(LHC) 실험 : 연간 50PB 생산

- 대형 시놉틱 관측 망원경(LSST) : 연간 10PB 생산

- 천문망원경 SKA 프로젝트 : 연간 60PB 생산

빅데이터 익스프레스(Big Data Express)는 대용량 과학데이터 전송의 효율성을 극대화 하는 기술로, 기존 데이터 전송방법들이 가진 문제점**을 극복하기 위한 목적으로 개발되었다.

** 데이터 전송구간에 존재하는 다양한 장비로 인해 전체적인 데이터 전송의 비효율성 문제 발생

데이터 전송방법 간 상호 간섭을 최소화하는 효율적인 방안 필요

다양한 데이터 전송 노드 간 효율적인 통신 방안 제공 불가

KISTI 자체 테스트에 따르면 과학데이터 전송에 자주 사용되는 GridFTP*** 보다 1/3 정도 높은 성능을 보였으며, 과학데이터 전송 시 가장 문제되는 것 중에 하나인 LOSF문제**** 테스트의 경우 GridFTP 보다 약 100배 정도 빠른 전송 속도를 보였다.

* GridFTP : 그리드 컴퓨팅 환경에서 데이터 전송을 빠르게 하기 위한 FTP 기술

** LOSF(Lots Of Small File) : 다수의 파일을 전송할 경우, 빠른 데이터 전송속도에 비해 상대적으로 느린 메모리 I/O 속도 차이로 인해 전체적인 데이터 전송 속도가 느려지는 문제

KISTI는 이번 공동연구를 통해 데이터 전송 SDN(Software Defined Network) 네트워크인 아메바넷(AmoebaNet)을 개발하였으며, 국제공동연구 결과인 빅데이터 익스프레스(Big Data Express) 미들웨어는 14(미국 현지시간) 미국 덴버에서 열린 슈퍼컴퓨팅 컨퍼런스 2017’에서 대륙 간(한국-미국) 데이터 전송을 성공적으로 시연했다.

빅데이터 익스프레스(Big Data Express)를 통해 대형 연구 장비를 비롯한 과학기술분야의 대용량데이터 공유가 신속하게 이루어질 수 있으며, 국내 연구자들은 원하는 과학데이터를 복잡한 설정 필요 없이 손쉽게 전송하거나 받을 수 있다.

KISTI 노서영 대용량데이터허브실장은 거대과학에서 요구되는 대형실험장비 및 관측 장비에서 생산되는 대용량 과학데이터를 국내 연구자들이 손쉽고, 신속하게 전송받아 분석할 수 있는 연구환경을 제공할 수 있다이를 통해 국내 데이터집약형 연구의 가속화가 기대된다.”고 밝혔다.

 

 BigData Express 아키텍쳐 자세한 내용은 본문 참조

[참고 자료 : 그림 설명]

[ BigData Express 아키텍쳐 ]

BigData Express Client

Data transfer requests/status

BigData-Express Middieware Service

  • Site A
  • Service Interface AAA
  • BigData Express Scheduler
  • Resource Broker
  • Network Agents
  • Storage Agents
  • DTN Agents
  • SDN Controllers
  • Super Computer
  • Paratel file system
  • DTNs
  • SDN-based LAN
  • Large Data Center
  • SDN-base Site-to-Site Path Service
  • AAA Service
  • Path Reservation
  • Resource Broker
  • Network OS
  • SDN-based Site-to-Site Path Service
  • Site B
  • Service Interface AAA
  • Resource Broker
  • Network Agents
  • SDN Controllers
  • BigData Express Scheduler
  • Storage Agents
  • GW
  • SW
  • Storage
  • SDN-based LAN
  • DTNs
  • Storage
  • Large Data Center

빅데이터익스프레스 자세한 내용은 본문 참조

[참고 자료 : 사진 설명] - 사진은 첨부 참조

빅데이터익스프레스(1)

빅데이터익스프레스(2)

빅데이터익스프레스(3)

[빅데이터 익스프레스(1)/(2)] - 빅데이터익스프레스 미들웨어가 탑재된 전송 서버를 점검하는 연구원

[빅데이터 익스프레스(3)] - 빅데이터익스프레스 미들웨어 설정을 점검하는 연구원

OPEN 출처표시, 상업용금지, 변경금지, 공공누리 공공저작물 자유이용허락

본 저작물은 “공공누리 제4유형(출처표시, 상업적 이용금지, 변경금지)” 조건에 따라 누구나 이용할 수 있습니다.

이 페이지에서 정보에 대해 만족하십니까?
  • 담당부서
  • 담당자박성욱
  • 연락처042-869-1610
Back to Top