Athena와 Glue는 왜 Hive 구조를 따를까? 서버리스 SQL

AWS Athena를 사용하다 보면 Glue Data Catalog, HiveQL, 파티션 등 Hive에서 유래한 개념들이 자주 등장합니다. 이 글에서는 Athena가 Hive 구조를 기반으로 설계된 이유와, Glue와의 관계, 실무에서 얻을 수 있는 장점을 정리해보겠습니다.

---

✅ Athena는 무엇인가?

Athena는 S3에 저장된 데이터를 SQL로 분석할 수 있게 해주는 AWS의 서버리스 쿼리 서비스입니다.

• 쿼리 언어: HiveQL 기반 SQL
• 저장소: Amazon S3 (테이블처럼 인식)
• 메타데이터 저장소: AWS Glue Data Catalog
• 실행 방식: 서버리스 (인프라 관리 불필요)

---

🧠 Hive 기반 설계의 이유

Athena는 다음과 같은 이유로 Hive 구조를 계승했습니다:

1. 검증된 오픈소스 모델: Hive는 수많은 빅데이터 환경에서 검증된 쿼리 및 메타데이터 관리 모델
2. 테이블-파티션 구조의 효율성: S3처럼 디렉토리 기반 스토리지에 적합한 파티션 관리
3. SQL 유사성: 분석가와 개발자 모두 쉽게 접근 가능
4. Glue와의 통합성: Glue Data Catalog는 Hive Metastore와 거의 동일한 구조로 되어 있어 Athena와 호환성이 뛰어남

---

🔗 Glue Data Catalog란?

Glue Data Catalog는 Hive Metastore를 대체하는 AWS 관리형 메타데이터 저장소입니다. Athena, EMR, Redshift Spectrum 등 다양한 AWS 서비스와 공유됩니다.

• 테이블 및 파티션 정의
• S3 위치 추적
• 스키마 변경 추적
• 크롤러를 통한 자동 등록 가능

---

🧩 Athena, Glue, Hive의 관계 구조

        +------------------+
        |    AWS Athena    |
        +--------+---------+
                 |
                 | SQL (HiveQL)
                 v
        +--------+---------+
        |  Glue Data Catalog |
        +--------+---------+
                 |
                 | 테이블 정의 (Hive 구조)
                 v
        +--------+---------+
        |    S3 (데이터)    |
        +------------------+

---

💬 실무에서의 장점

• Hive 구조에 익숙하다면 Athena 학습 곡선이 매우 낮음
• 다양한 AWS 서비스가 동일한 메타데이터를 공유 (중복 정의 최소화)
• 파티션 처리 효율적 → 대용량 쿼리 성능 향상

---

📚 빅데이터 관련 추천 책

빅 데이터가 만드는 세상:데이터는 알고 있다 - 인터넷 마케팅 | 쿠팡

 

빅데이터 커리어 가이드북:빅데이터는 무엇이고 빅데이터 전문가는 어떤 일을 할까? - 클라우드/

 

통계학 빅데이터를 잡다 - 확률/통계학 | 쿠팡

 

빅데이터 시대 성과를 이끌어 내는 데이터 문해력:그래프와 도표만 바라보는 당신에게 - 성공/경

 

📘 AWS 관련 추천 책

그림과 작동 원리로 쉽게 이해하는AWS 구조와 서비스:AWS의 전체 구조와 기술이 한눈에 들어오는

 

그림으로 이해하는 AWS 구조와 기술:AWS 쉽고 재미있게 시작하자! - 프로그래밍 언어 | 쿠팡

 

AWS 교과서 - 학습자료/교구 | 쿠팡

 

비전공자를 위한 AWS:클라우드 입문부터 자격증 취득까지 쉽게 배우는 AWS - 웹/네트워크 | 쿠팡

 

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.