하미's 블로그

대규모 데이터를 분석하고 처리할 수 있는 도구로 Hive는 여전히 중요한 위치를 차지하고 있습니다. 이번 글에서는 Hive의 개념, 구조, 동작 방식, 그리고 실무에서의 활용 사례를 소개합니다.✅ Hive란?Hive는 Hadoop 위에서 동작하는 데이터 웨어하우스 시스템으로, SQL 유사 언어인 HiveQL을 통해 대용량 데이터를 쉽게 쿼리할 수 있도록 해주는 도구입니다.기본 저장소: HDFS (Hadoop Distributed File System)쿼리 언어: HiveQL (SQL과 유사함)처리 방식: 내부적으로 MapReduce, Tez, Spark 등으로 변환하여 실행메타데이터 저장소: Hive Metastore (Glue Data Catalog가 이를 대체 가능)🧱 Hive의 주요 구성 요소Hi..

“우리도 데이터 분석 좀 해보자.”이 말 뒤에는 생각보다 많은 오해가 숨어 있습니다.데이터는 도구입니다.하지만 요즘 많은 회사들이 데이터 그 자체를 목표로 삼고 있다는 생각이 들 때가 있습니다.대시보드를 만들고,SQL 쿼리를 짜고,지표를 시각화하고,예측 모델을 돌리는 것…그 모든 건 수단일 뿐,결국 중요한 건 비즈니스에 어떤 영향을 주었는가입니다.데이터는 항상 ‘질문’에서 시작해야 합니다.숫자는 그 자체로 아무 말도 하지 않습니다.‘왜 이 숫자가 중요한가?’‘이 숫자를 보면 어떤 행동을 해야 하나?’이 질문이 없다면,데이터는 아무런 힘도 갖지 못합니다.예를 들어,회원가입 수가 늘었다고 칭찬할 수 있을까요?그게 실제 구매 전환율과 연결되지 않는다면,숫자의 증가는 단지 착각일 뿐입니다.데이터는 뒷받침이 아닌..

SQL에서는 테이블을 만들 후에도 구조를 바꾸거나 규칙을 추가할 수 있습니다.그중 가장 자주 사용되는 기능이 바로 ALTER TABLE로 제약 조건(CONSTRAINT)을 추가하는 것이죠.오늘은 그중에서도 가장 많이 사용되는 두 가지 제약 조건인 FOREIGN KEY와 CHECK를 예제와 함께 쉽게 설명해드림니다!1️⃣ FOREIGN KEY – 두 테이블 간 연결 만들기 📋 FOREIGN KEY라는?FOREIGN KEY(외래 키)는 다른 테이블의 값을 참조하게 만들어주는 제약 조건이에요.쉽게 말하면, "이 값은 바로 저 테이블에 있어야 해!"라는 규칙입니다.🎯 예제: 학생(Student)과 학교(School)CREATE TABLE school ( id INT PRIMARY KEY, name VAR..

SQL을 처음 접하거나 실무에서 데이터 분석을 막 시작한 사람이라면, DDL과 JOIN의 차이를 헷갈려 하는 경우가 많다. 이 글에서는 두 개념의 차이와 각각의 역할에 대해 쉽게 정리해본다.DDL이란?DDL(Data Definition Language)은 데이터베이스의 구조를 정의하거나 변경하는 명령어 집합이다. 즉, 데이터를 다루기 위한 그릇을 만드는 단계라고 볼 수 있다.대표적인 DDL 명령어는 다음과 같다:CREATE: 테이블, 뷰, 인덱스 등을 생성할 때 사용ALTER: 기존 객체(테이블 등)의 구조를 수정할 때 사용DROP: 객체를 삭제할 때 사용예시:CREATE TABLE users ( id INT PRIMARY KEY, name VARCHAR(50), created_at TIMESTAM..

SQL을 어느 정도 쓰다 보면 자연스럽게 부딪히는 개념이 바로 서브쿼리(Subquery)와 CTE(Common Table Expressions)다. 둘 다 쿼리 안에 또 다른 쿼리를 포함하는 방식인데, 언제 서브쿼리를 쓰고 언제 CTE를 써야 하는지 헷갈리는 경우가 많다. 이 글에서 둘의 차이, 장단점, 그리고 실무에서 어떻게 활용하는지를 정리해본다.서브쿼리란?서브쿼리는 다른 쿼리 안에 중첩되어 있는 SELECT 문이다. 일반적으로 WHERE, FROM, SELECT 절 내부에 사용된다.예시 (SELECT 절 내부):SELECT name, (SELECT COUNT(*) FROM orders WHERE orders.user_id = users.id) AS order_countFROM users;..

SQL을 처음 배우는 분들이라면 DDL(데이터 정의), DML(데이터 조작), 그리고 날짜·조건 처리까지 한 번에 정리된 예제가 필요합니다. 이번 글에서는 도서 쇼핑몰을 가정해 book_shop 스키마를 사용하며, 실제로 많이 쓰이는 구문을 단계별로 살펴보겠습니다. 복사해서 바로 실행해도 오류가 없도록 작성했으니 실습용으로 활용해 보세요.1. CRUD 기본기1‑1. 테이블 생성 (CREATE)CREATE TABLE book_shop.bs_member ( member_id SERIAL PRIMARY KEY, email VARCHAR(320) UNIQUE NOT NULL, password VARCHAR(255) NOT NULL, nickname VA..

1. KPI (Key Performance Indicator) – 핵심 성과 지표목표 달성을 평가하기 위한 주요 지표.예시: 광고 클릭률, 회원가입 전환율 등 비즈니스 목표와 연결된 지표2. ETL (Extract, Transform, Load) – 데이터 처리 과정데이터를 추출(Extract) → 변환(Transform) → 적재(Load)하는 과정.예시: MySQL에서 데이터를 가져와 클린징 후 데이터 웨어하우스에 저장3. A/B 테스트 – 실험 기반 의사 결정두 개 이상의 버전을 비교하여 최적의 성과를 찾는 실험.예시: 버튼 색상을 A(파란색)와 B(빨간색)로 나누어 클릭율 비교4. Cohort Analysis (코호트 분석) – 특정 그룹의 행동 분석같은 특성을 가진 사용자 그룹을 나누어 분석하는..

1.1. Python특징: Python은 데이터 분석, 통계 분석, 머신러닝 등에 널리 사용되는 프로그래밍 언어입니다. Pandas, NumPy, Matplotlib, Seaborn, SciPy, Scikit-learn 등과 같은 강력한 라이브러리들이 있어 데이터 처리와 분석에 매우 적합합니다.장점:오픈 소스이며 커뮤니티가 활발해서 배우기 쉽고 지원이 많음다양한 데이터 분석 라이브러리 제공머신러닝, 딥러닝, 웹 개발 등 다양한 분야에서 사용 가능사용 예시:Pandas로 데이터 처리 및 분석Matplotlib과 Seaborn으로 데이터 시각화1.2. R특징: R은 통계 분석에 강력한 기능을 제공하는 프로그래밍 언어이자 환경입니다. 특히 데이터 시각화와 통계 분석에서 매우 강력합니다.장점:통계 분석에 특화된..

SQL(Structured Query Language)은 데이터베이스를 관리하고 조작하는 데 사용되는 언어입니다. 데이터베이스에서 여러 테이블의 데이터를 결합하여 원하는 정보를 얻기 위해서는 JOIN 연산을 사용합니다. 이 블로그에서는 JOIN의 종류와 각각의 사용 방법에 대해 자세히 알아보겠습니다.JOIN의 종류SQL에서 JOIN은 크게 네 가지 종류로 나뉩니다.INNER JOINLEFT JOIN (또는 LEFT OUTER JOIN)RIGHT JOIN (또는 RIGHT OUTER JOIN)FULL JOIN (또는 FULL OUTER JOIN)각 JOIN의 작동 방식을 예제를 통해 알아보겠습니다.1. INNER JOININNER JOIN은 두 테이블 간의 일치하는 행만 반환합니다. 즉, 양쪽 테이블에 모..

피벗(Pivot)과 언피벗(Unpivot)은 데이터 분석에서 자주 사용되는 두 가지 중요한 SQL 연산입니다. 피벗은 행 데이터를 열로 변환하여 요약된 형태로 표현하고, 언피벗은 그 반대로 열 데이터를 행으로 변환하여 더 세부적인 데이터를 표현합니다. 이를 통해 데이터의 시각화와 분석이 더 용이해집니다.피벗 (Pivot)피벗 연산은 데이터를 요약하거나 집계하여 행 데이터를 열로 변환합니다. 예를 들어, 여러 행에 분산된 데이터를 열로 정리하여 비교하기 쉽게 만드는 경우에 사용됩니다.피벗 사용 예시 (SQL Server):다음은 department_sales 테이블을 이용하여 각 부서의 연도별 매출 합계를 열로 변환하는 예제입니다.SELECT department_id, [2019], [2020], [202..