빅데이터(Big Data) 정의, 5가지 특징, 적용사례, 직업_총정리

안녕하십니까, 

부매경입니다. 

 

오늘은 4차 산업 혁명의 기반인 빅데이터(Big Data)에 대해서 알아보겠습니다. 

빅데이터란 무엇인가? 적용사례는 무엇인지, 관련 직업은 어떤 것이 있는지 한번 알아보겠습니다. 

---

빅데이터(Big Data)란? 빅데이터 정의

• 컴퓨터, 모바일, 센서 등을 통해 생성되는 방대한 데이터, 정보의 바다
• 기존의 데이터 수집, 관리, 처리해주는 데이터베이스를 초과 : 제타바이트급
• 디지털로 기록할 수 있는 SNS, 사물인터넷, 센서, 내비게이션, 카메라 등 모든 전자기기에서 생성

4차 산업혁명에서의 빅데이터 핵심 정의는 정보의 바다에서 가치 있는 데이터를 분석 이해하고, 

새로운 가치를 창조해 내는 것

이해를 돕기 위한 예

 

유튜브에서 내가 검색한 기록은 데이터가 되고 

유튜브는 내가 만들어낸 데이터를 바탕으로 나의 취향을 분석

분석된 결과로 나에게 내가 좋아할 만한 영상을 제공 

---

빅데이터(Big Data) 생성 방식

빅데이터는 크게 정형 및 비정형 테이터로 구분하여 생성되는데, 

생성 출처는 크게 3가지 정도로 구분할 수 있습니다. 

SNS(소셜 미디어) 데이터

• 소셜 미디어를 통한 동영상, 이미지, 게시글, 댓글 등의 Data 생성
• 불특정 다수의 Data로 트렌드에 민감함
• 2023년까지 약 27억 명이 소셜 미디어 데이터 사용 전망

출처 : 부매경 티스토리 캡쳐

머신 데이터

• 사물인터넷(IoT) 기기와 기기(자동차, 비행기, 드론 등)의 센서로 데이터 생성
• 기업, 국가 중심으로 머신 데이터가 급증하고 있음
• 데이터가 가장 많이 생성되는 곳으로 2025년까지 40억 이상 생성 전망

출처 : 이코노믹 리뷰, 스마트카 센서로 데이터 기록

거래 데이터 

• 구매 및 금융 거래 등을 통한 데이터 생성
• 코로나로 인해 비대면 거래 증가로 데이터 생성 급증함 
• 최근 댓글, 후기 등을 통해 문자, 이미지, 동영상 등 다양한 데이터 생성

---

빅데이터 특징

기존 빅데이터 특징(3V) 

출처 : 위키미디어

Volume 볼륨

데이터의 양이 제타바이트 급으로 증가, 데이터를 안전하게 저장, 관리 방법 요구

Velocity 속도

빠른 속도로 생성되는 데이터

데이터 처리, 분석을 빠른 시간 내에 수행 

실시간으로 데이터 생성 및 분석/처리를 통해 가치 창출

Variety 다양성

정형화 + 비정형화 Data의 결합 

기존의 정형화된 Data는 빅데이터의 가치가 없음 

예를 들어 SNS에서

좋아요 클릭은 정형화된 Data + 댓글의 개인적인 의견은 비 정형화된 Data

기업의 재무제표는 정형화된 Data + 기업의 재무제표 평가 댓글은 비 정형화된 Data

새로운 빅데이터 특정(2V)

Veracity 진실성

많은 양의 데이터를 수집할수록 중요성 대두

정형화된 Data는 단순 오타나, 오류가 진실성의 판단 기준

비 정형화된 Data는 개인의 거짓 정보, 성향 및 데이터의 출처 등이 판단 기준

Value 가치

빅데이터를 활용하는 궁극적인 목적은 새로운 가치를 창출

빅데이터의 분석을 통해 인사이트 제공

---

빅데이터와 머신러닝 

기존 AI 관련 포스팅을 통해 언급한 바와 같이 머신러닝은 오래된 기술입니다. 

하지만 빅데이터란 개념이 없는 시절에는 크게 인정받지 못 했습니다. 

지금 머신러닝은 빅데이터가 제공해주는 정보로 데이터 내 패던을 분석

의사결정을 내릴 수 있는 정보를 제공하고, 이러한 프로세스를 자동화합니다. 

결국 양질의 빅데이터와 머신러닝 기술이 결합하여 기업의 가치를 창출하는 구조가

현재 잘 나가는 회사들의 기본 플랫폼입니다. 

 

인공지능(AI) 1편_인공지능의 역사 (tistory.com)

인공지능(AI) 1편_인공지능의 역사

---

빅데이터 활용 분야 

빅데이터의 활용은 사실 모든 분야에 적용됩니다. 

활용범위는 무한대에 가까울 정도로 앞으로 그 시장이 성장할 것으로 보고 있습니다. 

재무

금융 서비스에 빅데이터 활용도는 매우 높습니다. 

 

• 금융거래 부정행위 조사 및 감시
• 금융상품의 리스크 분석 및 자동 추천
• 고객의 투자분석, 제품 추천, 피트백

운송 및 물류

• 빅데이터 분석을 통해 경로 계획, 적재 통합
• 쿠팡, 마켓 컬리 등의 당일 배송 서비스가 대표적이 예임

의료

• 빅데이터 분석을 통해 정확하고 신뢰성 있는 진단 
• 빅데이터를 분석을 통한 신약, 백신 개발

농업

• 식물, 가축 등의 최적의 조건에서 성장할 수 있도록 분석
• 유통, 운송, 판매 프로세스 최적화  

---

빅데이터(Big Data) 직업

빅데이터는 크게 데이터를 수집, 저장, 관리, 처리하는 플랫폼

플랫폼의 데이터를 통해 분석, 그리고 가치를 창출하여 활용하는 3가지로 나눌 수 있습니다. 

 

데이터 플랫폼 관련 전문가

빅데이터를 수집, 저장, 관리, 처리하는 플랫폼을 만들거나, 관리하는 전문가들

오라클 전문가, 인공지능 전문가, 플랫폼 개발 전문가, 클라우드 전무가

필요역량으로 기초 프로그래밍, 데이터베이스 기초, 멀티 플랫폼 서비스 개발, 데이터 분석 및 시각화, 빅데이터 기반 서비스 구현

빅데이터 분석가

빅데이터 관련 직업에 핵심 직군으로 말 그대로 데이터 플랫폼에서 제공받은 데이터를 분석하는 직업

4차 산업혁명에 핵심 직군으로 생각되며 기본적으로 위에서 언급한 역량은 기본적으로 요구

핵심 역량으로 통계학, 비즈니스 컨설팅, 데이터 분석 프로그래밍, 머신러닝(AI) 등이 필요함

의사 결정자 

빅데이터 분석가가 제시한 의견에 대한 최종 결정자 

빅데이터 분석가의 역량은 기본적(원리)으로 이해는 해야 함 

기본적으로 4차 산업혁명에 필요한 기술에 대한 역량은 유사하며, 

기존 포스팅 한 내용과 같이 C 그룹으로 수렴되는 것 같습니다. (상세 내용은 아래 참고^^)

미래의 인재상_4차산업혁명 그리고 그 후 (tistory.com)

미래의 인재상_4차산업혁명 그리고 그 후

이상입니다. 

다음에는 더 좋은 정보로 찾아뵙겠습니다. 

감사합니다.