이서

1. AWS 인스턴스란 무엇인가?AWS 인스턴스는 사용자가 필요로 하는 컴퓨팅 성능을 제공하는 가상 서버입니다. 사용자는 이 인스턴스를 통해 운영 체제(OS), 소프트웨어, 애플리케이션을 설치하고 실행할 수 있습니다. 이러한 인스턴스는 물리적인 서버가 아닌, 클라우드 환경에서 필요에 따라 리소스를 유동적으로 확장하거나 축소할 수 있습니다.2. AWS 인스턴스의 특징유연한 리소스 관리: AWS 인스턴스는 CPU, 메모리, 저장소 등의 자원을 자유롭게 선택할 수 있습니다. 사용자는 필요에 따라 리소스를 조정할 수 있어, 비용을 절감하고 최적화할 수 있습니다.스케일링: AWS 인스턴스는 수요에 맞게 자동으로 확장하거나 축소할 수 있습니다. 예를 들어, 트래픽이 급증하면 더 많은 인스턴스를 추가하고, 트래픽이 ..

1. 통계적 분석이란?통계적 분석은 데이터를 수집, 정리, 분석하여 중요한 정보를 추출하고, 이를 바탕으로 의사 결정을 내리는 과정입니다. 통계 분석을 통해 우리는 데이터를 단순히 숫자로 보는 것이 아니라, 그 안에 숨겨진 패턴이나 트렌드를 발견하고, 이를 실제 문제 해결에 적용할 수 있습니다.주요 목표데이터에서 유의미한 정보를 추출의사결정에 필요한 추론을 제공불확실성을 고려하여 결론 도출통계적 분석의 주요 단계데이터 수집: 데이터를 체계적으로 수집하고, 필요한 변수들을 정의합니다.데이터 정리 및 탐색적 분석(EDA): 수집한 데이터를 확인하고, 결측치나 이상치를 처리합니다.데이터 분석: 통계 기법을 사용하여 데이터를 분석하고, 분석 모델을 구축합니다.결과 해석: 분석 결과를 바탕으로 의미 있는 인사이트..

데이터 분석이 발전함에 따라 데이터 시각화는 필수적인 기술로 자리 잡았습니다. 복잡한 데이터를 이해하기 쉽게 표현함으로써, 인사이트를 도출하고 의사 결정을 지원하는 중요한 역할을 합니다. 이 글에서는 데이터 시각화의 중요성과 효과적인 방법에 대해 살펴보겠습니다.데이터 시각화의 중요성이해도 향상: 복잡한 데이터셋을 그래프나 차트로 표현함으로써, 사용자들이 빠르게 정보를 이해하고 해석할 수 있습니다. 특히, 패턴이나 트렌드를 쉽게 파악할 수 있게 도와줍니다.의사 결정 지원: 시각화된 데이터는 경영진이나 의사 결정자들이 빠르게 판단할 수 있도록 도와줍니다. 예를 들어, 매출 추세를 시각화하면 어떤 제품이 잘 팔리고 있는지 한눈에 알 수 있습니다.스토리텔링: 데이터 시각화는 데이터를 이야기처럼 표현할 수 있는 ..

고객 생애 가치 (Customer Lifetime Value, CLTV)란 무엇인가?Customer Lifetime Value (CLTV)는 한 고객이 회사와의 관계를 유지하는 동안 발생시키는 총 수익을 나타내는 중요한 지표입니다. CLTV는 고객의 장기적인 가치를 평가하는 데 사용되며, 특히 마케팅 전략 수립, 고객 세분화, 리텐션 전략 등에 중요한 역할을 합니다.간단하게 말하면, CLTV는 고객이 얼마나 많은 가치를 회사에 가져다주는지 평가하는 방식입니다. 이를 통해 회사는 더 많은 가치를 창출할 수 있는 고객에게 집중적으로 마케팅 활동을 펼칠 수 있으며, 이탈 가능성이 높은 고객을 식별하여 미리 대응할 수 있습니다.CLTV의 계산 방법CLTV는 보통 아래와 같은 변수들을 기반으로 계산됩니다:Aver..

GMV Contribution이란 무엇인가?전자상거래 비즈니스에서 GMV(Gross Merchandise Value)는 플랫폼이나 마켓플레이스에서 발생하는 총 거래액을 의미합니다. 이는 특정 기간 동안 판매된 상품의 총 금액을 나타내며, 제품이 할인되었거나 판매 수수료가 차감되기 전의 금액입니다. GMV는 비즈니스의 성장을 측정하는 중요한 지표이지만, 그 자체로는 어떤 요소가 성장을 이끌었는지, 어떤 제품이나 캠페인이 성공적인지에 대한 정보를 제공하지 않습니다.이 문제를 해결하기 위해 GMV를 세분화해 각 요소가 매출에 어떻게 기여했는지 분석하는 방법이 필요하며, 이를 GMV Contribution이라고 합니다. GMV Contribution은 GMV를 구성하는 여러 요소—제품 카테고리, 마케팅 채널, ..

오늘날 디지털 시대에서는 사용자 참여도가 성공의 중요한 척도로 자리 잡고 있습니다. 웹사이트나 애플리케이션의 성과를 측정하는 여러 가지 방법 중, DAU(Daily Active Users, 일일 활성 사용자 수)는 가장 널리 사용되고 효과적인 지표 중 하나입니다. 이번 글에서는 DAU가 무엇인지, 왜 중요한지, 그리고 이를 어떻게 활용할 수 있는지에 대해 알아보겠습니다.DAU란 무엇인가?DAU는 특정 하루 동안 애플리케이션이나 웹사이트를 이용한 고유 사용자의 수를 의미합니다. 이 지표는 사용자가 로그인하거나, 앱을 실행하거나, 웹사이트에 접속하는 등의 활동을 기준으로 측정됩니다. 간단히 말해, DAU는 매일 얼마나 많은 사용자가 서비스를 이용하는지를 보여줍니다.DAU가 중요한 이유사용자 참여도 측정 DA..

. A/B 테스트란 무엇인가?A/B 테스트는 두 가지(또는 그 이상)의 변형(A와 B)을 비교하여 어떤 것이 더 나은 성과를 내는지 판단하는 실험 방법입니다. 주로 웹사이트의 디자인, 이메일 마케팅 캠페인, 광고 콘텐츠 등에서 활용됩니다. 이 방법은 데이터 기반 의사결정을 통해 성과를 최적화하는 데 필수적입니다.A/B 테스트의 기본 원리A/B 테스트의 기본 원리는 다음과 같습니다:변형 만들기: 현재 버전(통제 그룹, A)과 변경된 버전(실험 그룹, B)을 준비합니다.분할 트래픽: 사용자 트래픽을 무작위로 두 그룹에 나눕니다.성과 측정: 각 그룹의 성과를 측정합니다.분석 및 결론 도출: 데이터를 분석하여 더 나은 성과를 내는 버전을 선택합니다.2. 왜 A/B 테스트가 중요한가?A/B 테스트는 여러 이유로 ..

1. 로그 데이터란 무엇인가?로그 데이터는 컴퓨터 시스템, 서버, 네트워크 장비, 애플리케이션 등에서 발생하는 이벤트를 기록한 데이터입니다. 이 데이터는 시스템의 정상 작동 여부를 확인하고, 문제 발생 시 원인을 파악하며, 성능을 최적화하는 데 중요한 역할을 합니다. 로그 데이터는 일반적으로 시간순으로 기록되며, 각 이벤트에 대한 세부 정보가 포함되어 있습니다.주요 로그 데이터 유형시스템 로그: 운영 체제의 활동을 기록합니다. 예를 들어, Linux의 /var/log/syslog 파일은 시스템 관련 이벤트를 저장합니다.애플리케이션 로그: 특정 애플리케이션의 동작을 기록합니다. 예를 들어, 웹 서버의 액세스 로그는 웹사이트에 대한 요청 정보를 저장합니다.보안 로그: 보안 관련 이벤트를 기록합니다. 예를 들..

SQL: 데이터베이스의 언어SQL(Structured Query Language)은 관계형 데이터베이스 관리를 위한 표준 언어로, 데이터베이스에서 데이터를 저장하고 검색하는 데 사용됩니다. SQL은 데이터 정의, 조작, 제어 및 조회 기능을 제공합니다. 이번 블로그에서는 SQL의 기본 개념과 주요 명령어들을 소개하겠습니다.SQL의 역사와 중요성SQL은 1970년대 IBM의 연구원들이 처음 개발했으며, 이후 ANSI(미국국립표준협회)와 ISO(국제표준화기구)의 표준으로 자리잡았습니다. SQL의 중요성은 관계형 데이터베이스 시스템(RDBMS)이 비즈니스 데이터 관리의 표준이 됨에 따라 더욱 부각되었습니다. SQL은 단순하면서도 강력한 언어로, 다양한 데이터베이스 시스템(MySQL, PostgreSQL, Or..

1. 소개Python은 그 간결함과 다재다능함으로 인해 전 세계적으로 인기를 끌고 있는 프로그래밍 언어입니다. 1991년 네덜란드의 Guido van Rossum에 의해 처음 발표된 이후, Python은 웹 개발, 데이터 과학, 인공지능, 자동화 등 다양한 분야에서 널리 사용되고 있습니다. 이 블로그 글에서는 Python의 장점, 주요 특징, 그리고 활용 분야에 대해 자세히 살펴보겠습니다.2. Python의 장점2.1. 간결하고 읽기 쉬운 문법Python의 문법은 간결하고 직관적입니다. 이는 프로그래머가 코드 작성에 집중할 수 있게 하고, 유지보수를 쉽게 합니다. 또한, Python은 코드 블록을 중괄호가 아닌 들여쓰기로 구분하여 가독성을 높였습니다.python코드 복사def greet(name): ..

SQL(Structured Query Language)은 데이터베이스를 관리하고 조작하는 데 사용되는 언어입니다. 데이터베이스에서 여러 테이블의 데이터를 결합하여 원하는 정보를 얻기 위해서는 JOIN 연산을 사용합니다. 이 블로그에서는 JOIN의 종류와 각각의 사용 방법에 대해 자세히 알아보겠습니다.JOIN의 종류SQL에서 JOIN은 크게 네 가지 종류로 나뉩니다.INNER JOINLEFT JOIN (또는 LEFT OUTER JOIN)RIGHT JOIN (또는 RIGHT OUTER JOIN)FULL JOIN (또는 FULL OUTER JOIN)각 JOIN의 작동 방식을 예제를 통해 알아보겠습니다.1. INNER JOININNER JOIN은 두 테이블 간의 일치하는 행만 반환합니다. 즉, 양쪽 테이블에 모..

피벗(Pivot)과 언피벗(Unpivot)은 데이터 분석에서 자주 사용되는 두 가지 중요한 SQL 연산입니다. 피벗은 행 데이터를 열로 변환하여 요약된 형태로 표현하고, 언피벗은 그 반대로 열 데이터를 행으로 변환하여 더 세부적인 데이터를 표현합니다. 이를 통해 데이터의 시각화와 분석이 더 용이해집니다.피벗 (Pivot)피벗 연산은 데이터를 요약하거나 집계하여 행 데이터를 열로 변환합니다. 예를 들어, 여러 행에 분산된 데이터를 열로 정리하여 비교하기 쉽게 만드는 경우에 사용됩니다.피벗 사용 예시 (SQL Server):다음은 department_sales 테이블을 이용하여 각 부서의 연도별 매출 합계를 열로 변환하는 예제입니다.SELECT department_id, [2019], [2020], [202..

데이터베이스 관리 시스템을 운영하거나 데이터와 관련된 작업을 할 때, 특정 테이블의 구조를 이해하는 것은 매우 중요합니다. PostgreSQL에서는 information_schema.columns 뷰를 활용하여 테이블의 컬럼 정보를 손쉽게 조회할 수 있습니다. 이 글에서는 information_schema.columns 뷰를 사용하여 특정 테이블의 컬럼 상세 정보를 어떻게 확인할 수 있는지 알아보겠습니다. 1. information_schema.columns 소개information_schema.columns는 데이터베이스 내 모든 스키마의 컬럼 정보를 담고 있는 시스템 카탈로그 뷰입니다.사용자가 접근할 수 있는 모든 테이블의 컬럼 정보를 조회할 수 있습니다. 2. 필요한 정보 선택하기column_nam..

안녕하세요! 데이텀 팀 데이터분석가 박상욱입니다. 현재 제가 하는 업무는 web/App log 분석 관련해서 진행하고 있습니다. 제가 다룰 주제는 'Web/App log 데이터를 사용하여 Google Analytics KPI 이관'이며, 이번글에서는 Google Analytics와 수집된 로그 지표의 비교분석에 대해 이야기 하도록 하겠습니다. 먼저 Web/App Log와 Google Analytics가 무엇인지 간단히 살펴보겠습니다. Web/App Log분석(웹/앱 로그 분석)이란? 유저가 웹 또는 앱 서비스를 이용할 때, 어떤 유저가 어느 페이지에 접속하여 얼마나 오랫동안 머물렀는 지 등의 log 데이터를 수집하여 마케팅에 필요로하는 지표들을 중심으로 분석하는 것입니다. \유저 A가 사이트 페이지에 접..

ROWS BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING 구문은 SQL의 윈도우 함수에서 사용되며, 윈도우 프레임을 정의합니다. 이것을 심화 버전으로 설명하면 다음과 같습니다: 윈도우 프레임 윈도우 프레임은 윈도우 함수가 작동할 데이터의 범위를 정의합니다. 윈도우 프레임을 설정함으로써 함수는 해당 프레임 내에서만 작동하게 됩니다. - UNBOUNDED PRECEDING UNBOUNDED PRECEDING은 윈도우 프레임의 시작을 나타냅니다. 이것은 현재 행을 포함한 윈도우의 가장 첫 번째 행을 지정합니다. - UNBOUNDED FOLLOWING UNBOUNDED FOLLOWING은 윈도우 프레임의 끝을 나타냅니다. 이것은 현재 행을 포함한 윈도우의 가장 마지막..

SQL에서 FIRST_VALUE 함수는 데이터 집합 내에서 첫 번째 값을 반환하는 유용한 함수입니다. 이 함수는 특히 윈도우 함수나 ORDER BY 절과 함께 사용될 때 더욱 강력한 기능을 발휘합니다. 이 블로그에서는 FIRST_VALUE 함수의 사용법과 몇 가지 예제를 살펴보겠습니다. FIRST_VALUE 함수 구문 sqlCopy code FIRST_VALUE(expression) OVER ( [PARTITION BY partition_expression, ... ] ORDER BY order_expression [ASC | DESC] ROWS BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING ) expression: 반환할 값입니다. PARTITION BY:..

퀴즈 이벤트 기간 : 2024-03-20(수) 공지사항 게시 이후 ~ 2024-03-29(금) 23:59:59 현재 업비트에서 블록체인 데이터 쿼리를 지원하는 플랫폼인 더그래프(GRT)에서 업비트 회원님들을 위한 퀴즈 이벤트를 진행합니다. 프로젝트에 대한 다양한 정보와 함께 총 740,745 GRT가 지급됩니다 업비트 비트코인, 이더리움, 리플, NFT 등 다양한 디지털 자산, 국내 거래량 1위 거래소 업비트에서 지금 확인해보세요. No.1 Digital Asset Exchange in Korea, Upbit. Trade various digital assets conveniently and securely including upbit.com 퀴즈 정답 1. 블록체인 세계에서 The Graph의 주요 목..

Git은 소스 코드 버전 관리 시스템(VCS)으로, 여러 명의 개발자가 협업하고 소스 코드의 변화를 효과적으로 관리할 수 있도록 도와주는 도구입니다. Git은 Linus Torvalds에 의해 만들어졌으며, 가장 널리 사용되는 버전 관리 시스템 중 하나입니다. Git의 주요 특징: 분산 버전 관리 시스템(DVCS): Git은 분산 버전 관리 시스템으로, 모든 개발자가 전체 프로젝트의 히스토리를 가지고 있습니다. 이는 오프라인에서도 작업이 가능하고, 각자의 로컬에서 변경사항을 효과적으로 관리할 수 있게 합니다. 브랜치: Git은 가볍고 빠르게 브랜치를 생성하고 전환할 수 있습니다. 이를 통해 독립적으로 작업하거나 기능을 실험하는 데에 유용합니다. 병합(Merge): 브랜치에서의 작업이 완료되면, Git은 ..

실제 파이썬 코드를 통해 예시를 공부해봤습니다. # 원본 데이터셋 복사 rfm_online_sales = online_sales.copy() # 날짜 형식 변환 rfm_online_sales['거래날짜'] = pd.to_datetime(rfm_online_sales['거래날짜']) # 데이터 내 마지막 날짜 계산 last_date = rfm_online_sales['거래날짜'].max() # Recency 계산 recency_data = rfm_online_sales.groupby('고객ID')['거래날짜'].max().reset_index() recency_data['Recency'] = (last_date - recency_data['거래날짜']).dt.days # Frequency 계산 freque..

파이썬은 데이터를 읽고 처리하는 데 매우 효과적인 도구입니다. 다양한 데이터 소스에서 데이터를 읽을 수 있는 방법이 있습니다. 이 글에서는 CSV, Excel, JSON, SQL 데이터베이스 및 웹에서 데이터를 읽는 방법을 알아보겠습니다. 1. CSV 파일 읽기 CSV(Comma-Separated Values) 파일은 쉼표로 구분된 텍스트 파일입니다. 파이썬에서 CSV 파일을 읽으려면 csv 모듈을 사용합니다. import csv # CSV 파일 열기 with open('data.csv', 'r') as file: reader = csv.reader(file) # 각 행 읽기 for row in reader: print(row) 2. Excel 파일 읽기 Excel 파일을 읽으려면 pandas 라이브러리..

PostgreSQL에서 사용할 수 있는 주요 날짜 및 시간 관련 함수를 설명하겠습니다. CURRENT_DATE / CURRENT_TIME / CURRENT_TIMESTAMP: 각각 현재 날짜, 시간, 날짜와 시간을 반환합니다. DATE_TRUNC(unit, date): 날짜를 특정 단위로 자릅니다. 예를 들어, 'hour'로 지정하면 해당 날짜의 시간 부분을 제거합니다. DATE_PART(unit, date): 날짜에서 특정 단위의 값을 추출합니다. 연도, 월, 일 등의 값을 추출할 수 있습니다. TO_CHAR(timestamp, format): 날짜를 지정된 형식으로 변환합니다. AGE(end_date, start_date): 두 날짜 간의 차이를 계산합니다. start_date부터 end_date까지..

NOW() / CURRENT_TIMESTAMP() / SYSDATE(): 현재 시간을 반환합니다. 이 함수들은 동일한 값을 반환합니다. CURDATE() / CURRENT_DATE(): 현재 날짜를 반환합니다. 이 또한 두 함수는 동일한 값을 반환합니다. CURTIME() / CURRENT_TIME(): 현재 시간을 반환합니다. 이 또한 두 함수는 동일한 값을 반환합니다. DATE_FORMAT(date, format): 날짜를 원하는 형식으로 포맷합니다. 첫 번째 매개변수로 날짜를, 두 번째 매개변수로 포맷을 지정합니다. DATEDIFF(date1, date2): 두 날짜 간의 일 수 차이를 계산합니다. date1에서 date2를 빼서 일 수를 반환합니다. DATE_ADD(date, INTERVAL ex..

PostgreSQL과 MySQL은 동일한 기능을 많이 제공합니다. 하지만, 관계형 데이터베이스 관리 시스템 (RDBMS)에는 큰 차이점이 있습니다. 빠르게 정리해보겠습니다. 1. MySQL 은 읽기 전용 명령을 관리하는데 선호됩니다. 동시성이 필요한 경우에는 선호되지 않습니다. 2. PostgreSQL 읽기와 쓰기 작업 가능하며, 대규모 데이터 세트 및 복잡한 쿼리를 관리하는 경우에 선호됩니다. 하지만, 읽기 전용 작업에는 선호되지 않습니다. 3. MySQL 은 PostgreSQL 보다 기능이 적지만, 읽기 전용 쿼리에서 가볍고 안정적이기 때문에 빠른 처리 속도를 유지할 수 있습니다. 4. PostgreSQL은 처음부터 ACID를 준수하도록 구축되어있으며, 동시 트랜잭션이 필요한 경우에 최적이지만 읽기..

Cold Start 란? 추천 시스템에서의 "Cold Start"는 새로운 사용자나 항목에 대한 추천을 만드는 과정에서 발생하는 문제를 의미합니다. 이것은 새로운 사용자나 항목에 대한 충분한 정보가 없어서 발생하는 도전적인 문제입니다. 즉, 시스템이 해당 사용자나 항목에 대한 행동 기록을 충분히 수집하지 못했기 때문에 발생합니다. Cold Start 문제는 추천 시스템의 성능을 저하시킬 수 있으며, 사용자 경험에 영향을 미칠 수 있습니다. Cold Start 문제 발생 원인 추천 시스템에서의 Cold Start 문제는 크게 두 가지 측면에서 발생합니다: 사용자(Cold User)와 항목(Cold Item)에 관련된 문제입니다. Cold User (사용자): 새로운 사용자: 추천 시스템은 사용자의 과거 행..

generate_series는 PostgreSQL에서 제공하는 함수로, 특정 범위 내의 연속된 값을 생성합니다. 이 함수는 일반적으로 날짜, 시간 또는 숫자와 같은 연속적인 값들을 만들 때 사용됩니다. select date(generate_series(start_at, end_at,'1 day')), start_at, end_at, goodsno from table_a 예를 들어, generate_series('2024-02-01'::date, '2024-02-10'::date, '1 day')와 같이 사용하면 '2024-02-01'부터 '2024-02-20'까지의 날짜를 일일 단위로 생성합니다. 이를 통해 일련의 날짜 값을 가지고 있는 테이블을 만들거나, 특정 날짜 범위에 대한 집계 또는 분석을 수행할..

추천 시스템은 현대의 다양한 서비스에서 사용자에게 맞춤형 콘텐츠를 제공하는 핵심 기술 중 하나로 부상했습니다. 그 중에서도 협업 필터링과 Matrix Factorization(MF)은 많은 추천 시스템에서 활용되는 강력한 알고리즘입니다. 이번 글에서는 이 두 가지 알고리즘의 기본 개념에 대해 알아보겠습니다. 1. 협업 필터링의 이해 협업 필터링은 사용자들 간의 상호 작용 정보를 기반으로 아이템을 추천하는 기술입니다. 이는 사용자가 선호하는 아이템을 다른 유사한 사용자들의 선호도를 기반으로 예측하는 방식입니다. 주로 사용자 기반 협업 필터링과 아이템 기반 협업 필터링으로 나뉩니다. 사용자 기반 협업 필터링 유사한 사용자들끼리 그룹을 형성하고, 해당 그룹의 선호도를 기반으로 추천을 수행합니다. 예를 들어, ..

Apache Airflow를 사용하여 데이터 파이프라인을 운영하는 것은 강력하고 유연한 도구를 활용하는 데 있어 매우 중요합니다. 이번 글에서는 Airflow를 효과적으로 활용하기 위한 모범 사례와 유용한 팁에 대해 알아보겠습니다. 1. DAG 분리 및 모듈화: 1.1 단일 DAG 원칙: 각 DAG는 특정한 작업 흐름을 나타내어야 합니다. 여러 작업 흐름이 하나의 DAG에 들어가면 가독성이 떨어질 수 있습니다. 1.2 모듈화: 관련된 작업들은 별도의 모듈로 분리하여 재사용성을 높이고 유지보수를 용이하게 합니다. # my_dag.py from my_module import create_tasks dag = DAG('my_dag', ...) tasks = create_tasks(dag) 2. 성능 최적화: ..

Apache Airflow에서 DAG(Directed Acyclic Graph)를 작성하고 예약하는 것은 데이터 파이프라인을 정의하고 관리하는 핵심적인 단계입니다. 이번 글에서는 Airflow에서 DAG를 작성하고 작업을 예약하는 방법에 대해 자세히 알아보겠습니다. 1. DAG 정의: 1.1 Python 스크립트 작성: DAG를 정의하려면 Python 스크립트를 작성해야 합니다. 이 스크립트는 각 작업을 DAG 객체에 추가하고 작업 간의 의존성을 설정하는 역할을 합니다. from airflow import DAG from airflow.operators.python_operator import PythonOperator from datetime import datetime, timedelta # DAG ..

데이터 과학 및 엔지니어링 분야에서 Apache Airflow는 데이터 파이프라인을 효과적으로 관리하고 예약하며 모니터링하는 데 필수적인 오픈 소스 도구로 자리 잡고 있습니다. 이 글에서는 Apache Airflow의 기본 개념과 왜 데이터 전문가들이 이를 사용하는지에 대해 알아보겠습니다. 1. Apache Airflow의 핵심 개념: 1.1 Directed Acyclic Graphs (DAGs): Airflow에서 작업들은 Directed Acyclic Graphs (DAGs)로 표현됩니다. DAG는 여러 작업들이 의존성을 가지며 비순환적인 구조를 갖는 데이터 흐름을 나타냅니다. 1.2 작업과 Operator: DAG 내에서 실행되는 개별 작업들을 Operator라고 부릅니다. Operator는 특정 ..

데이터 전처리는 데이터를 분석이나 머신러닝 모델에 적용하기 전에 데이터를 정리하고 가공하는 과정을 말합니다. 이를 통해 데이터의 품질을 향상시키고 모델의 성능을 향상시킬 수 있습니다. 아래는 데이터 전처리를 잘 할 수 있는 몇 가지 방법과 주의할 점을 제시합니다. 데이터 이해하기: 데이터의 특성과 분포를 잘 이해하는 것이 중요합니다. 이를 통해 어떤 전처리가 필요한지 판단할 수 있습니다. 데이터 누락 확인: 결측치(Missing values)를 확인하고 적절한 대체나 제거를 수행하세요. pandas 라이브러리를 사용하면 결측치 처리가 용이합니다. import pandas as pd # 결측치 확인 df.isnull().sum() # 결측치 대체 df.fillna(value, inplace=True) 이상..