ALTER TABLE DROP PARTITION 파티션 메타데이터 삭제하기

AWS Athena, Hive, Glue Data Catalog를 활용하는 환경에서는 때때로 특정 파티션만 메타데이터에서 제거하고 싶을 때가 있습니다. 이럴 때 사용하는 명령이 바로 ALTER TABLE ... DROP PARTITION입니다.

이번 글에서는 이 명령의 정확한 동작 원리, 주의사항, 실무 활용 팁까지 알아봅니다.

---

✅ DROP PARTITION 명령이란?

ALTER TABLE example_table DROP PARTITION (partition_date='2024-12-01');

이 명령은 Glue Data Catalog(또는 Hive Metastore) 에서 특정 파티션 정보를 삭제합니다. 단, S3에 있는 실제 데이터 파일은 그대로 유지됩니다.

---

🔍 언제 사용해야 하나요?

• 특정 파티션의 스키마가 오래되어 현재 테이블 스키마와 충돌할 때 (예: HIVE_PARTITION_SCHEMA_MISMATCH 에러)
• 잘못된 파티션이 등록되어 쿼리 오류를 유발할 때
• 신규 데이터 업로드 전에 기존 메타데이터를 정리하고 싶을 때

---

⚠️ 주의사항

• DROP PARTITION은 메타데이터만 삭제합니다. 데이터를 물리적으로 지우려면 S3에서 직접 삭제해야 합니다.
• Hive 스타일의 파티션 (key=value)이 아닐 경우 제대로 작동하지 않을 수 있습니다.
• DROP 이후 MSCK REPAIR TABLE을 실행하면 다시 등록될 수 있으므로, 재등록을 원하지 않는다면 S3 폴더도 삭제해야 합니다.

---

🧠 실무 팁

• 스키마 변경 후 발생한 에러를 해결할 때는 보통 DROP PARTITION → MSCK REPAIR TABLE 순으로 처리합니다.
• ETL 처리 중 중간 파티션을 임시로 제거하고, 처리 후 재등록하는 전략에도 활용됩니다.
• 데이터 백필(backfill) 전 기존 파티션을 정리할 때 안전하게 사용할 수 있습니다.

---

📚 빅데이터 관련 추천 책

빅 데이터가 만드는 세상:데이터는 알고 있다 - 인터넷 마케팅 | 쿠팡

 

빅데이터 커리어 가이드북:빅데이터는 무엇이고 빅데이터 전문가는 어떤 일을 할까? - 클라우드/

 

통계학 빅데이터를 잡다 - 확률/통계학 | 쿠팡

 

빅데이터 시대 성과를 이끌어 내는 데이터 문해력:그래프와 도표만 바라보는 당신에게 - 성공/경

 

📘 AWS 관련 추천 책

그림과 작동 원리로 쉽게 이해하는AWS 구조와 서비스:AWS의 전체 구조와 기술이 한눈에 들어오는

 

그림으로 이해하는 AWS 구조와 기술:AWS 쉽고 재미있게 시작하자! - 프로그래밍 언어 | 쿠팡

 

AWS 교과서 - 학습자료/교구 | 쿠팡

 

비전공자를 위한 AWS:클라우드 입문부터 자격증 취득까지 쉽게 배우는 AWS - 웹/네트워크 | 쿠팡

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.