📊 AWS Database & Data Analytics#

목차#

1. DB 유형 전체 비교
2. RDS (요약)
3. Aurora (요약)
4. ElastiCache (요약)
5. DocumentDB
6. Amazon Neptune
7. Amazon Keyspaces (for Apache Cassandra)
8. Amazon Timestream
9. Amazon Athena
10. Amazon Redshift
11. Amazon OpenSearch Service
12. Amazon EMR (Elastic MapReduce)
13. Amazon QuickSight
14. AWS Glue
15. AWS Lake Formation
16. Amazon Managed Service for Apache Flink
17. Amazon MSK (Managed Streaming for Apache Kafka)
18. 빅데이터 수집 파이프라인 아키텍처
19. 📌 시험 자주 출제 포인트

DB 유형 전체 비교#

RDS (요약)#

• Managed: PostgreSQL / MySQL / Oracle / SQL Server / DB2 / MariaDB / Custom
• Provisioned Instance Size + EBS Volume
• Read Replicas, Multi-AZ, Storage Auto Scaling
• IAM, Security Groups, KMS(rest), SSL(transit)
• PITR 최대 35일, Manual Snapshot 무제한
• RDS Custom: Oracle/SQL Server 전용, OS 및 DB 직접 접근 가능
• Use Case: RDBMS/OLTP, SQL 쿼리, 트랜잭션

Aurora (요약)#

• PostgreSQL/MySQL API 호환, 스토리지와 컴퓨팅 분리
• 스토리지: 3 AZ × 2 = 6개 복사본, Self-healing, Auto Scaling
• 컴퓨팅: Multi-AZ DB Cluster, Read Replica Auto Scaling
• Aurora Serverless: 예측 불가/간헐적 워크로드
• Aurora Global: 리전당 최대 16 Read Instance, 리전 간 복제 < 1초
• Aurora ML: SageMaker/Comprehend 통합
• Aurora Cloning: 기존 클러스터에서 빠르게 새 클러스터 생성 (스테이징 DB)
• Use Case: RDS와 동일 + 더 높은 성능, 가용성, 유연성

ElastiCache (요약)#

• Managed Redis / Memcached, Sub-millisecond 지연
• Redis: Multi-AZ, Read Replicas, Backup, AOF 영속성
• Memcached: Sharding, 비영속, 멀티스레드
• 보안: IAM, Security Groups, KMS, Redis AUTH
• 애플리케이션 코드 변경 필요
• Use Case: Key/Value 캐시, 세션 스토어, DB 쿼리 결과 캐시

DocumentDB#

• Aurora의 AWS 구현처럼, DocumentDB는 MongoDB의 AWS 구현
• JSON 데이터 저장/쿼리/인덱싱
• Aurora와 유사한 배포 개념: Fully Managed, 3 AZ 고가용성
• 스토리지 자동 증가 (10 GB 단위)
• 초당 수백만 req로 자동 확장
• Use Case: MongoDB 워크로드를 AWS로 이전

Amazon Neptune#

• 완전 관리형 Graph Database
• 수십억 개 관계 저장, Millisecond 단위 쿼리
• 3 AZ 고가용성, 최대 15 Read Replicas
• Use Cases: 소셜 네트워크, 지식 그래프(Wikipedia), 사기 탐지, 추천 엔진

Amazon Keyspaces (for Apache Cassandra)#

• Apache Cassandra 호환 완전 관리형 DB
• Serverless, Scalable, Multi-AZ (3 AZ 복제)
• Cassandra Query Language (CQL) 사용
• Single-digit millisecond 지연, 초당 수천 req
• On-Demand 또는 Provisioned with Auto-scaling
• PITR 최대 35일
• Use Cases: IoT 디바이스 데이터, 시계열 데이터

Amazon Timestream#

• 완전 관리형 Time Series Database, Serverless
• 하루 수조 개 이벤트 처리, 관계형 DB 대비 100배 빠름, 1/10 비용
• 스토리지 티어링: 최근 데이터 → 메모리 / 과거 데이터 → 저비용 스토리지
• 내장 시계열 분석 함수 (Near real-time 패턴 식별)
• SQL 호환, 암호화(transit/rest)
• Use Cases: IoT, 운영 모니터링, 실시간 분석

Amazon Athena#

• S3에 저장된 데이터를 Serverless SQL로 분석
• Presto 기반, Standard SQL 사용
• 지원 포맷: CSV, JSON, ORC, Avro, Parquet
• 가격: 스캔된 데이터 TB당 $5.00
• Amazon QuickSight와 연동하여 BI 대시보드 구성

성능 최적화 (비용 절감):

Federated Query:

• 관계형/비관계형/S3 등 다양한 소스를 SQL로 통합 쿼리
• Lambda 기반 Data Source Connector 사용 (CloudWatch Logs, DynamoDB, RDS 등)

📌 시험 Tip: “S3 데이터를 Serverless SQL로 분석” → Athena

Amazon Redshift#

• PostgreSQL 기반이지만 OLAP (데이터 웨어하우스), OLTP 아님
• Columnar Storage + 병렬 쿼리 엔진 → Petabyte 규모 분석
• Athena보다 Index 덕분에 더 빠른 Join/집계
• BI 도구 (QuickSight, Tableau) 통합

1
[Leader Node]   : 쿼리 계획 + 결과 집계
2
[Compute Nodes] : 실제 쿼리 실행 (N개)

Amazon OpenSearch Service#

• Amazon ElasticSearch의 후속 서비스
• 어떤 필드든 전체 텍스트 검색 가능 (DynamoDB는 Primary Key/Index만)
• 다른 DB의 보완재로 일반적으로 사용
• Managed Cluster 또는 Serverless 모드
• 기본 SQL 미지원 (플러그인으로 활성화 가능)
• 데이터 수집: Kinesis Data Firehose, IoT, CloudWatch Logs
• 보안: Cognito, IAM, KMS, TLS
• OpenSearch Dashboards (시각화) 포함

1
[앱 CRUD] → [DynamoDB] → [DynamoDB Stream] → [Lambda] → [OpenSearch]
2
[앱 검색] → OpenSearch API → 검색 결과 → DynamoDB에서 상세 조회

1
CloudWatch Logs → Subscription Filter → Lambda → OpenSearch (Real-time)
2
CloudWatch Logs → Subscription Filter → Firehose → OpenSearch (Near real-time)

1
KDS → Firehose → OpenSearch (Near real-time)
2
KDS → Lambda   → OpenSearch (Real-time)

Amazon EMR (Elastic MapReduce)#

• Hadoop 클러스터 기반 빅데이터 분석 플랫폼
• 수백 개의 EC2 인스턴스로 구성된 클러스터
• Apache Spark, HBase, Presto, Flink 번들 포함
• 프로비저닝/설정 자동화, Auto Scaling, Spot Instance 통합

Amazon QuickSight#

• Serverless ML 기반 BI(Business Intelligence) 서비스
• 인터랙티브 대시보드 생성, 자동 확장, Session 단위 과금
• SPICE 엔진: 데이터 Import 시 In-memory 계산
• Enterprise 버전: Column-Level Security (CLS)

통합 데이터 소스:

• RDS, Aurora, Redshift, Athena, S3, OpenSearch, Timestream
• Salesforce, Jira, Teradata, 온프레미스 DB (JDBC)
• 파일: xlsx, csv, json, tsv, elf/clf

대시보드 공유:

• Users (Standard) / Groups (Enterprise) — QuickSight 내부 개념 (IAM과 별개)
• 대시보드 공유 전 반드시 Publish 필요
• 대시보드를 보는 사용자는 기저 데이터도 볼 수 있음

AWS Glue#

• 완전 관리형 ETL (Extract, Transform, Load) 서비스, Serverless
• S3 또는 RDS 데이터 → Glue ETL(변환) → Redshift 로드

1
[S3 Input] ─(Put)─→ Glue ETL (CSV → Parquet 변환) → [S3 Output]
2
                              ↑ Lambda/EventBridge 트리거 가능
3
→ Athena가 Parquet 파일로 훨씬 적은 비용으로 쿼리 가능

AWS Lake Formation#

• Data Lake = 분석용 중앙 데이터 저장소
• 복잡한 수동 단계(수집, 정제, 이동, 카탈로그) 자동화
• 정형/비정형 데이터 결합
• Source Blueprints: S3, RDS, 관계형/NoSQL DB
• Row-level / Column-level Fine-grained Access Control
• AWS Glue 위에 구축

1
[Athena] ─→ [QuickSight]
2
[Lake Formation] ← Column-level 접근 제어 설정
3
→ Athena, QuickSight가 Lake Formation의 권한을 따름
4
→ 각 서비스별로 별도 접근 제어 불필요 → 중앙 집중식 보안

Amazon Managed Service for Apache Flink#

• 이전 이름: Kinesis Data Analytics for Apache Flink
• Java, Scala, SQL로 데이터 스트림 처리
• 소스: Kinesis Data Streams 또는 Amazon MSK (Kafka)
• 완전 관리형: 프로비저닝, 병렬 처리, 자동 스케일링, 백업(Checkpoint/Snapshot)
• ⚠️ Amazon Data Firehose에서 직접 읽기 불가 (Data Streams에서만)

Amazon MSK (Managed Streaming for Apache Kafka)#

• Kinesis의 대안: AWS에서 완전 관리형 Kafka
• Kafka Broker Node + Zookeeper 노드 자동 관리
• VPC 내 배포, Multi-AZ (최대 3 AZ)
• 데이터를 EBS에 원하는 기간만큼 저장
• MSK Serverless: 용량 관리 없이 Kafka 실행

빅데이터 수집 파이프라인 아키텍처#

1
[IoT Devices]
2
      │
3
      ▼
4
[Kinesis Data Streams]  ← 실시간 수집
5
      │
6
      ▼
7
[Kinesis Data Firehose] ← Near real-time 전달
8
      │
9
      ▼
10
[S3 (Ingestion Bucket)] ← Raw 데이터 저장
11
      │         │
12
      │         ▼ (선택)
13
      │    [SQS → Lambda] ← 이벤트 기반 처리
14
      │
15
      ▼
16
[Amazon Athena]         ← Serverless SQL 분석
17
      │
18
      ▼
19
[S3 (Reporting Bucket)] ← 분석 결과 저장
20
      │
21
      ├──→ [QuickSight]  ← BI 대시보드
22
      └──→ [Redshift]    ← 데이터 웨어하우스

📌 시험 자주 출제 포인트#