Athena에서 HIVE_PARTITION_SCHEMA_MISMATCH 에러 해결하기

AWS Athena를 사용하다 보면 간혹 다음과 같은 에러 메시지를 접하게 됩니다:

HIVE_PARTITION_SCHEMA_MISMATCH: You are trying to write into an existing partition in a table. The table schema has changed since the creation of the partition. Inserting rows into such partition is not supported.

이번 글에서는 이 에러가 왜 발생하는지, 그리고 어떻게 해결할 수 있는지를 정리해보겠습니다.

---

✅ 에러 원인 요약

이 에러는 Athena 테이블 전체 스키마와 특정 파티션의 스키마가 서로 다를 때 발생합니다.

Glue Data Catalog에서는 각 파티션이 생성될 당시의 스키마를 따로 저장하기 때문에,

테이블의 스키마가 변경된 이후에도 기존 파티션은 옛날 구조를 유지합니다.

예를 들어, 다음과 같은 컬럼 구조 변경이 있었다고 가정합시다

테이블 현재 스키마 예시

array<struct<id:string, type:int, meta:array<struct<key:string, value:string, extra:string>>>>

기존 파티션 스키마 예시

array<struct<id:string, type:int, meta:array<struct<key:string, value:string>>>>

extra:string 컬럼이 새로 추가되었기 때문에, 기존 파티션(예: partition_date='2024-12-01')과 스키마가 달라져 에러가 발생하게 됩니다.

---

🛠 해결 방법

이 에러를 해결하려면 다음 2단계 작업이 필요합니다:

1. 문제 파티션 삭제

ALTER TABLE example_table DROP PARTITION (partition_date='2024-12-01');

• 이 명령은 Glue Data Catalog에서 해당 파티션의 메타데이터만 삭제합니다.
• S3 상의 실제 데이터는 삭제되지 않습니다.

2. 파티션 재등록

MSCK REPAIR TABLE example_table;

• 이 명령은 S3 경로에서 partition_date=2024-12-01과 같은 Hive-style 파티션 폴더를 찾아 다시 등록합니다.
• 이때 테이블의 최신 스키마를 기준으로 등록되므로 스키마 불일치 문제가 해결됩니다.

---

💡 참고 사항

• MSCK REPAIR TABLE은 Hive-compatible partitioning 구조 (key=value)가 필수입니다.
• 파티션 폴더가 S3에 존재하지 않으면 재등록되지 않습니다.
• 자주 스키마가 변경되는 경우라면 Glue Table을 drop 후 새로 등록하거나, 파티션을 자동 관리하는 Lambda + Glue API 방식을 고려해 볼 수 있습니다.

---

다음 글에서는 MSCK REPAIR TABLE 명령의 구조와 내부 동작에 대해 더 깊이 다뤄보겠습니다.

 

📚 빅데이터 관련 추천 책

빅 데이터가 만드는 세상:데이터는 알고 있다 - 인터넷 마케팅 | 쿠팡

 

빅데이터 커리어 가이드북:빅데이터는 무엇이고 빅데이터 전문가는 어떤 일을 할까? - 클라우드/

 

통계학 빅데이터를 잡다 - 확률/통계학 | 쿠팡

 

빅데이터 시대 성과를 이끌어 내는 데이터 문해력:그래프와 도표만 바라보는 당신에게 - 성공/경

 

📘 AWS 관련 추천 책

그림과 작동 원리로 쉽게 이해하는AWS 구조와 서비스:AWS의 전체 구조와 기술이 한눈에 들어오는

 

그림으로 이해하는 AWS 구조와 기술:AWS 쉽고 재미있게 시작하자! - 프로그래밍 언어 | 쿠팡

 

AWS 교과서 - 학습자료/교구 | 쿠팡

 

비전공자를 위한 AWS:클라우드 입문부터 자격증 취득까지 쉽게 배우는 AWS - 웹/네트워크 | 쿠팡

 

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.