탄력적 MapReduce(EMR)는 클라우드 기술과 Hadoop, Hive, Spark, Hbase, Presto, Storm 등 커뮤니티 오픈 소스 기술을 기반으로 안전하고 저렴하며 신뢰할 수 있는 Auto Scaling 클라우드 호스팅 하둡 서비스를 제공합니다. 몇 분 내에 안전하고 신뢰할 수 있는 전용 하둡 클러스터를 생성하여, 클러스터 내 데이터 노드 혹은 오브젝트 스토리지 COS의 PB급 대용량 데이터를 분석합니다.
소개
특징
오픈 소스
고성능의 엔터프라이즈급 개방형 빅데이터 생태계(Hive, Spark, Presto, HBase, Flink, Iceberg, Alluxio 등)를 온디맨드 구성 요소 오케스트레이션 기능을 통해 안정적으로 제공합니다.
효율적인 운영 및 유지보수
클라우드 네이티브 통합 관찰 기능과 중요 이벤트 스냅샷 롤백 기능을 통해 문제 해결 프로세스를 간소화하고 운영 및 유지보수 효율성을 향상시킬 수 있습니다.
탄력적 리소스 확장
클러스터 컴퓨팅 리소스를 일정 또는 워크로드에 따라 몇 분 안에 원활하게 자동 확장하여 역동적인 비즈니스 시나리오에 적응합니다.
비용 최적화
사용량 기반 요금제 리소스 할당, 간소화된 배포/유지 관리, 컴퓨팅-스토리지 분리 지원.
기능
빠른 배포
EMR 콘솔을 통해 단 3단계 만에 전용 클러스터를 구축할 수 있습니다. EMR은 Hive, Spark, HBase, Presto, Flink 등 다양한 오픈 소스 구성 요소를 제공하며, 클러스터 생성 시 이러한 구성 요소를 유연하게 조합하여 비즈니스 요구 사항에 맞춰 사용할 수 있습니다.
몇 분 만에 클러스터 생성 및 확장 가능
콘솔을 통해 단 몇 분 만에 안전하고 안정적인 클라우드 기반 Hadoop 클러스터를 배포할 수 있습니다. 또는 기존 EMR 클러스터를 몇 분 안에 원활하게 확장하여 증가하는 데이터 볼륨과 비즈니스 요구 사항에 맞춰 조정할 수 있습니다.
컴퓨팅-스토리지 분리
클라우드 기반 Hadoop 클러스터에서 스토리지 노드와 컴퓨팅 노드를 분리하세요. 필요에 따라 컴퓨팅 노드를 유연하게 확장하여 하드웨어 비용을 절감할 수 있습니다. 또는 Tencent Cloud COS(클라우드 객체 스토리지)를 활용하여 스토리지와 컴퓨팅을 분리함으로써 스토리지 및 컴퓨팅 리소스를 독립적으로 확장하여 변화하는 비즈니스 요구 사항에 더욱 효과적으로 대응할 수 있습니다.
OPS 지원
EMR은 핵심 구성 요소(Spark, Hive, Presto 등) 및 실행 중인 작업에서 발생하는 예외를 즉시 감지하는 포괄적인 모니터링 및 운영 시스템을 제공하여 클러스터의 안정적인 운영을 보장합니다.
응용 시나리오
클라우드 마이그레이션
클라우드 네이티브 데이터 레이크
오프라인 데이터 분석
대화형 비즈니스 쿼리
스트리밍 데이터 처리
IDC 또는 오픈 소스 Hadoop 배포판을 기반으로 구축된 자체 관리형 구성 요소는 복잡한 기술 스택, 구형 구성 요소 버전, 높은 운영 및 유지 관리 비용, 그리고 제한적인 기술 지원 등의 문제점을 안고 있는 경우가 많습니다. EMR은 포괄적인 마이그레이션 도구 모음을 통해 원활한 마이그레이션을 지원하여 최첨단 기술이 적용된 안정적이고 고성능이며 비용 효율적인 클라우드 네이티브 빅 데이터 플랫폼을 신속하게 배포할 수 있도록 해줍니다.
기업들이 방대한 데이터의 가치를 지속적으로 활용함에 따라, 기존 아키텍처는 비용 효율적이고 통합된 데이터 저장 및 관리 요구 사항을 충족하지 못하며, 다양한 시나리오에서 데이터 분석 작업을 유연하게 지원하는 데에도 한계가 있습니다. EMR을 기반으로 구축된 클라우드 네이티브 데이터 레이크는 이러한 문제들을 효과적으로 해결합니다.
하둡을 중심으로 구축된 오프라인 데이터 웨어하우스는 Hue와 같은 도구를 활용하여 Hive, Spark, Presto를 포함한 주요 컴퓨팅 프레임워크에 접근할 수 있으며, 이를 통해 실행 가능한 데이터 인사이트를 신속하게 도출할 수 있습니다.
인터넷 금융, 게임, O2O(온라인-오프라인 연계)와 같은 분야에서는 사용자 행동, 시스템 로그, 주문 정보 등 구조화 및 반구조화된 데이터에 대한 효율적인 분석이 절실히 필요합니다. EMR은 풍부한 컴퓨팅 구성 요소, 분 단위 클러스터 프로비저닝, 수평 확장 기능 등을 통해 실시간 대화형 비즈니스 쿼리를 지원하고 비즈니스 대응력을 향상시킵니다.
애플리케이션이나 도구에서 API 및 SDK를 통해 비즈니스 서버에서 생성된 실시간 데이터를 메시징 미들웨어로 전송한 후, EMR 내에서 적절한 스트리밍 데이터 처리 엔진을 선택하여 데이터를 분석하면 실시간 데이터 연산 및 의사결정이 가능해집니다.
가격
Tencent Cloud Elastic MapReduce(EMR)는 유연한 배포 및 과금 옵션을 제공합니다. 과금은 노드 단위로 이루어지며, 다양한 사양의 노드를 선택하여 클러스터를 구성하고 비즈니스 변동에 따라 동적으로 확장할 수 있습니다. 자세한 내용은 과금 개요 를 참조하십시오.