1, 빅 데이터 수집 기술
대용량 데이터 수집 기술은 RFID 데이터, 센서 데이터, 소셜 네트워크 상호 작용 데이터 및 모바일 인터넷 데이터를 통해 다양한 유형의 정형, 반정형 및 비정형 대용량 데이터를 얻는 것을 의미합니다. 다양한 데이터 소스, 대용량 데이터, 빠른 생성 속도로 인해 대규모 데이터 수집 기술도 여러 가지 기술적 과제에 직면해 있어 데이터 수집의 신뢰성과 효율성을 보장하고 데이터 중복을 방지해야 합니다.
2. 빅 데이터 전처리 기술
빅 데이터 전처리 기술은 주로 수신된 데이터에 대한 분석, 추출, 청소, 채우기, 스무딩, 병합, 정규화, 일관성 검사 등의 작업을 완료하는 것을 말합니다. 가져온 데이터는 여러 가지 구조와 유형을 가질 수 있으므로 데이터 추출의 주요 목적은 이러한 복잡한 데이터를 단일 또는 처리하기 쉬운 구조로 변환하여 신속한 분석 및 처리 목적을 달성하는 것입니다.
대용량 데이터 저장 및 관리 기술
대용량 데이터 저장 및 관리의 주요 목적은 수집된 데이터를 메모리로 저장하고 적절한 데이터베이스를 구축하고 관리 및 호출하는 것입니다.
4. 빅 데이터 처리
대용량 데이터의 응용 프로그램 유형은 매우 다양하며, 주요 처리 모드는 스트리밍 모드와 배치 모드의 두 가지 유형으로 나눌 수 있습니다. 배치는 저장 후 처리되고, 스트림 처리는 직접 처리됩니다.
앱 앱
빅데이터는 어디에나 있습니다. 큰 데이터는 금융, 자동차, 음식, 통신, 에너지, 헬스, 엔터테인먼트 등 모든 업종에 적용되며, 각 업종마다 큰 데이터의 흔적이 녹아들어 있다.
1, 제조, 제품 고장 진단 및 예측, 프로세스 분석, 생산 프로세스 개선, 생산 프로세스 에너지 최적화, 산업 공급망 분석 및 최적화, 생산 계획 및 스케줄링 등 산업 대용량 데이터를 사용하여 제조 수준을 높입니다.
2. 금융업계에서는 빅데이터가 고주파 거래, 사회여론 분석, 신용위험 분석 3 대 금융혁신 분야에서 중요한 역할을 하고 있다.
3. 자동차 업계에서는 빅데이터와 사물인터넷 기술을 사용하는 무인자동차가 가까운 장래에 우리의 일상생활에 들어설 것이다.
4. 인터넷 업계에서는 빅데이터 기술을 이용하여 고객 행동을 분석하고, 제품을 추천하고, 방향성 광고를 실시할 수 있다.
5. 통신업계에서는 빅데이터 기술을 이용하여 고객의 인터넷 이탈 상황을 분석하고, 적시에 고객의 인터넷 이탈 경향을 파악하고, 고객 보유 조치를 내놓습니다.