대량의 정보 자산 빅데이터란 (간단 정리)

 

빅데이터란

복잡하고 다양한 대규모 데이터세트이다.
이 데이터세트로부터 정보를 추출하고 결과를 분석하여 더 큰 가치를 창출하는 기술이다.

수치데이터 등 기존의 정형화된 정보뿐 아니라 텍스트, 이미지, 오디오, 로그기록 등 여러 형태의 비정형 정보가 데이터로 활용된다.

(비정형 : 규칙이나 패턴이 없거나 구조화되지 않은 것을 의미)

인스타, 트위터, 넷플릭스, 디스코드, 스포티파이, 틱톡 등

최근 모바일기기와 SNS 이용 보편화, 사물인터넷 확산 등으로 데이터의 양이 기하급수적으로 늘어나고 있다.하지만 저장매체의 가격 하락 등으로 데이터 관리비용이 감소하고, 클라우드 컴퓨팅 등으로 데이터 처리,분석 기술도 발전하면서 빅데이터 활용 여건은 개선되고 있다.
 

 

빅데이터 관련 기술 :
 ① 데이터를 수집, 저장하는 데이터 처리기술  :

대량의 데이터를 수집, 저장, 가공하고 분석하는 과정을 지원하기 위해 사용되는 다양한 기술들을 가리킨다.    이러한 기술들은 데이터 엔지니어링과 데이터 분석 분야에서 핵심적으로 활용되며, 데이터를 가치 있는 정보로 변환하는 데 도움을 준다.

② 데이터를 분석, 시각화하는 데이터 분석기술  :

수집된 데이터를 탐색하고 이해하여 유용한 정보를 도출하는 과정에서 사용되는 다양한 기술들을 의미한다.   데이터 분석 기술은 데이터 과학, 비즈니스 인텔리전스, 의사 결정 등 다양한 분야에서 활용되며, 데이터에서 통찰력을 얻기 위한 도구와 기법을 포함한다.

 
 

데이터 처리기술의 발달은 저가의 서버와 하드디스크를 여러대 연결하여 대용량 데이터를 분산 처리함으로써 기존의 고비용 데이터 분석을 대체했다.

 

(기존의 고비용 데이터 분석 : 수작업과 중앙 집중식 시스템을 기반으로 한 전통적인 방식으로 데이터를 수집, 저장, 분석하는 과정에서 발생하는 비용이 많은 데이터 분석 접근법을 가리킨다.   

이러한 방식은 주로 대규모 기업이나 조직에서 사용되며, 비용 측면에서 상당한 부담을 초래할 수 있다.)

 

데이터 분석기술의 발달은 기존 데이터 분석에서는 불가능했던 비선형적 상관관계 규명, 감성분석 등 비정형화된 분석도 가능하게 만들었다.

• 감성분석 : 텍스트 채굴 기술의 하나로 텍스트에 나타난 사람들의 태도, 의견, 성향 등 주관적인 속성을 지닌 데이터 추출,분석기법이다.

• 비선형적 상관관계 규명분석 : 두 변수 간의 관계가 직선적인 것이 아닌 곡선이나 다른 비선형적 형태를 가질 때, 이 관계를 탐색하고 이해하는 과정을 의미한다.     선형 상관관계는 두 변수 간의 변화가 일정한 비율로 일어나는 경우를 의미하는 반면, 비선형 상관관계는 두 변수 사이의 관계가 더 복잡하게 형성되어 있는 경우를 다룬다.

 

 

[요약]

빅데이터는 대량,   초고속,   고다양성,   고가변성의 특성을 지니며 고정확성을 확보해야하는 정보 자산이다.