이서's 잡학다식

데이터를 효과적으로 수집하고 변환하여 저장하는 과정은 모든 데이터 중심 기업에서 중요한 역할을 합니다. AWS(Amazon Web Services)는 다양한 ETL(Extract, Transform, Load) 서비스를 제공하여 데이터 처리 파이프라인을 효율적으로 구축할 수 있도록 지원합니다. 이번 글에서는 AWS 기반 ETL 프로세스의 개념과 활용 사례를 살펴보겠습니다.1. ETL이란?ETL은 Extract(추출) → Transform(변환) → Load(적재) 의 약자로, 데이터를 원본 시스템에서 가져와 변환한 후 최종 저장소로 로드하는 과정을 의미합니다.Extract (추출): 데이터 소스(S3, RDS, 로그 파일 등)에서 데이터를 가져오는 단계Transform (변환): 데이터 정제, 필터링, ..

1. 풀필먼트 서비스에서 데이터 분석이 중요한 이유풀필먼트는 단순한 물류 창고가 아니라, 데이터 기반 운영 최적화가 중요한 산업물류 효율성, 고객 만족도, 판매자 성장을 극대화하기 위해 데이터 분석이 필수적주문량 증가, 배송 지연 문제 해결, 비용 절감 등에서 데이터 분석이 직접적인 영향을 미침2. 풀필먼트에서 활용할 수 있는 주요 데이터 분석 기법🔹 1) Funnel 분석 – 판매자와 물류 흐름 최적화목적:판매자의 풀필먼트 이용 과정을 단계별로 분석하여 이탈률을 줄이고, 효율성을 높이는 방법 찾기분석 과정:판매자 가입 → 계약 → 첫 입고 → 첫 주문 발생 → 정기 이용어느 단계에서 이탈이 많이 발생하는지 분석예: 가입 후 첫 입고까지 평균 3주 걸린다면, 이 기간을 줄이기 위한 온보딩 개선적용 사례..

GMV Contribution이란 무엇인가?전자상거래 비즈니스에서 GMV(Gross Merchandise Value)는 플랫폼이나 마켓플레이스에서 발생하는 총 거래액을 의미합니다. 이는 특정 기간 동안 판매된 상품의 총 금액을 나타내며, 제품이 할인되었거나 판매 수수료가 차감되기 전의 금액입니다. GMV는 비즈니스의 성장을 측정하는 중요한 지표이지만, 그 자체로는 어떤 요소가 성장을 이끌었는지, 어떤 제품이나 캠페인이 성공적인지에 대한 정보를 제공하지 않습니다.이 문제를 해결하기 위해 GMV를 세분화해 각 요소가 매출에 어떻게 기여했는지 분석하는 방법이 필요하며, 이를 GMV Contribution이라고 합니다. GMV Contribution은 GMV를 구성하는 여러 요소—제품 카테고리, 마케팅 채널, ..

하둡은 대용량 데이터를 처리하기 위한 강력한 프레임워크로, 다양한 데이터 분석 및 처리 패턴을 제공합니다. 이를 이해하기 위해서는 맵리듀스를 활용한 데이터 분석 예제와 다양한 데이터 처리 기술에 대한 이해가 필요합니다. 1. 맵리듀스를 활용한 데이터 분석 예제와 코드 샘플 맵리듀스는 하둡에서 데이터를 처리하는 핵심적인 프로그래밍 모델입니다. 데이터를 맵(Map) 단계와 리듀스(Reduce) 단계로 나누어 병렬 처리하고 결과를 생성합니다. 예제: Word Count: 이 예제는 문서 내 단어의 빈도를 세는 것으로, 각 단어를 키(key)로, 해당 단어의 등장 횟수를 값(value)으로 하는 맵리듀스 작업을 수행합니다. public class WordMapper extends Mapper { private ..

모델링 과정에서 가장 먼저 알아볼 것은 바로 train_test_split() 메소드입니다. train_test_split() 메소드는 데이터 셋을 train_set과 test_set으로 손쉽게 분리할 수 있게 도와주는 메소드입니다. train / test 데이터 셋을 분리하는 이유 먼저, train/test를 분리하는 목적에 대해 정확히 이해해야 합니다. 용어를 정확히 하자면 train/test가 아니라 train/validation이 맞는 표현입니다. 머신러닝 모델에 train 데이터를 학습 시킨 후 test 데이터를 모델로 예측했을 경우 성능이 생각보다 낮게 나오는 경우가 발생합니다. 이러한 현상을 보통 Overfitting 되었다고 합니다. 이미지 출처 : educative.io 즉, 현재 모델이..

컴퓨터는 문자로 된 데이터를 학습할 수 없다. 그래서 type 같은 피쳐들은 컴퓨터가 읽어서 학습 할 수 있도록 인코딩을 해주어야 한다. 그래서 인코딩의 방법 중 하나인 'One-Hot Encoding' 에 대해 알아보겠다. 'One-Hot Encoding' 은 말 그대로, 하나만 Hot하고 나머지는 Cold한 데이터를 의미한다. 즉, 자신에게 맞는 것은 1로, 나머지는 0으로 바꾸어 준다. 예를 들어서 아래의 '출신 지역' 이라는 변수는 문자로 되어있기 때문에. 컴퓨터가 이해할 수 없다. 그래서 컴퓨터가 이해할 수 있도록 숫자로 바꿔줘야 한다. 자신에 해당 되는 값은 1인 "Hot"한 값을 주고, 나머지는 0인 "Cold"한 값을 주는 방법입니다. # "OneHotEncoder"를 "encoder"라는..