유럽 해사 통합 빅데이터 플랫폼 구축을 위한 'Big Data Ocean' : 초기단계 개요

지난 시간에는 Big Data Ocean이 어떤 프로그램인지 간단히 소개해드렸는데요. 앞으로는 Big Data Ocean 프로젝트의 초기단계에서 어떤 빅데이터 기술이 고려되었는지, 어떤 방법론으로 진행이 되었는지, 가치사슬은 어떻게 이루어지는지, Big Data Ocean의 요구사항은 무엇인지 알아보도록 하겠습니다.

 

이번 시간에는 Big Data Ocean 프로젝트를 상세히 분석하기 전 전체흐름을 파악하고 사전지식을 쌓는 목적으로 개요를 소개해보려고 합니다.

---

    현재 빅데이터 기술 현황

Big Data Ocean 서비스와 플랫폼 인프라에 통합될 수 있는 현재 기술의 정의 및 현황을 알아보고, 각 기술을 분석하고 비교하여 Big Data Ocean에 적합한 기술을 채택하는 과정입니다.

 

총 10개의 주제로 빅데이터 기술이 분류됩니다.

1) 데이터 포맷&코딩 2) 메타데이터 저장소&의미농축(semantic) 3) 데이터 저장 4) 쿼리 프로세싱 5) 스트림 프로세싱 6) 분석 7) 분석 실행환경 8) 가시화 9) 클러스터 관리 10) 보안

다음 시간에서는 각 주제에 맞게 분류된 기술을 정의하고 비교해보겠습니다.

 

Big Data Ocean 시스템 중심구조(back-bone)의 특징은 특정 산업에 구애받지 않고 가장 널리 사용되는 기존 데이터 처리기술, 센서타입, 공동 운영 시스템을 활용할 수 있기 때문에, 다양한 분야의 통합이 훨씬 쉽게 이루어집니다.

 

   Big Data Ocean 방법론

접근방식은 기존 waterfall 방식과 개선된 방식의 혼합으로 이루어집니다.

waterfall 방식(폭포수 모델)

요구사항 분석 → 설계 → 구현 → 테스트 → 통합 → 유지보수 순으로 진행되는 방식입니다.

앞 단계의 일이 끝나지 않으면 뒤 단계를 수행할 수 없기 때문에 시간이 오래 걸린다는 단점이 있습니다.

프로젝트 초기 단계에서 최소 실행가능한 제품과 아키텍쳐 최초 모델을 구체화할 때까지 기존 waterfall 방식을 따르고, 그 후 개선된 방식으로 응용하는 과정으로 진행됩니다. 개선된 방식은 피드백을 계속 진행하는 과정에서 다양한 정보를 추출해내고, 짧은 기간내에 발전을 촉진하는 방식으로 설명할 수 있겠습니다.

 

Big Data Ocean의 방법론 순서는 다음과 같습니다.

  준비 → 추출 → 분석 → 구체화 → 평가

1) 준비 단계에서는 이해관계자를 정의하고, 데이터 소스와 가치사슬을 특징화하는데 도움을 줍니다.

2) 요구사항 추출 단계에서는 Big Data Ocean 솔루션에 대해 어떤 상업적 니즈들이 있는지 취합합니다.

3) 분석 단계에서는 기능적/비기능적(funtional/non-funtional) 니즈로 분류하여 요구사항을 재가공합니다.

4) 구체화 단계에서는 최소한으로 실행가능한 제품을 구체화시키고, 사전검증을 위해 개념증명(proof of concept)과 연결시킵니다.

5) 평가 단계에서는 실행이 완벽하게 이루어졌는지 평가합니다.

개념증명(proof of concept)이란,

특정 방식이나 아이디어를 실현하여 타당성을 증명하는 것을 뜻합니다. 이는 기존 시장에 없었던 신기술을 도입하기 전에 이를 검증하기 위해 사용됩니다.

 

   가치사슬(Value Chain)

가치사슬(Value Chain)이란,

기업활동에서 부가가치가 생성되는 과정을 의미합니다. 보통 기업이 제품 또는 서비스를 생산하기 위해 원재료, 노동력, 자본 등의 자원을 결합하는 과정입니다. 가치사슬 분석은 최종 제품이나 서비스에 부과되는 가치(value)의 관점에서 각각의 활동을 분석하게 됩니다.

Big Data Ocean 개념을 실제 제품으로 가져가는데 필요한 모든 활동을 정의하는 과정입니다. 모든 Big Data Ocean 기술로부터 수집된 데이터에서 가치(Value)와 인사이트(Insight)를 추출해내기 위한 모든 과정을 통합합니다.

 

Big Data Ocean의 가치사슬 과정은 다음과 같습니다.

  데이터 취득 → 데이터 전처리 → 데이터 큐레이션 → 데이터 저장 → 데이터 이용

1) 데이터 취득 : 데이터 수집 과정에 필요한 인프라를 식별합니다.

2) 데이터 전처리 : 데이터 분석을 위해 데이터를 조사하고, 연결된 정보로 변형이 가능하게 합니다.

3) 데이터 큐레이션 : 데이터의 품질을 평가합니다.

4) 데이터 저장 : 지속적이고 확장/축소해도 변형이 없는 방식으로 데이터를 저장합니다.

5) 데이터 이용 : 데이터를 비즈니스 활동에 이용합니다.

 

나중에 부가적으로 설명이 되겠지만, 총 15개의 분야로 분류된 이해관계자와 그들의 데이터셋이 각 가치사슬 단계에서 정의됩니다.

 

   Big Data Ocean 요구사항

가치사슬을 평가하고, 향후 시나리오와 머지않아 진행될 서비스를 진행하는 과정입니다. 이 과정에서 Big Data Ocean 시스템의 가공되지 않은 요구사항(raw requirements)을 추출해냅니다.

 

최종적으로 총 62개의 요구사항이 추출되었고, 비즈니스/기능적/비기능적 요구사항으로 분류됩니다.

---

다음 시간에서는 먼저 '현재 빅데이터 기술 현황'에 대해 소개하고자 합니다. 총 10개의 주제로 나누어진 빅데이터 기술을 하나하나 살펴보고 Big Data Ocean에 적합한 것으로 채택된 이유 등으로 분석해보려고 합니다.

 

Author 박해리

 

출처 http://bigdataocean.eu/

Big Data Ocean