이서

추천 시스템은 현대의 다양한 서비스에서 사용자에게 맞춤형 콘텐츠를 제공하는 핵심 기술 중 하나로 부상했습니다. 그 중에서도 협업 필터링과 Matrix Factorization(MF)은 많은 추천 시스템에서 활용되는 강력한 알고리즘입니다. 이번 글에서는 이 두 가지 알고리즘의 기본 개념에 대해 알아보겠습니다. 1. 협업 필터링의 이해 협업 필터링은 사용자들 간의 상호 작용 정보를 기반으로 아이템을 추천하는 기술입니다. 이는 사용자가 선호하는 아이템을 다른 유사한 사용자들의 선호도를 기반으로 예측하는 방식입니다. 주로 사용자 기반 협업 필터링과 아이템 기반 협업 필터링으로 나뉩니다. 사용자 기반 협업 필터링 유사한 사용자들끼리 그룹을 형성하고, 해당 그룹의 선호도를 기반으로 추천을 수행합니다. 예를 들어, ..

Apache Airflow를 사용하여 데이터 파이프라인을 운영하는 것은 강력하고 유연한 도구를 활용하는 데 있어 매우 중요합니다. 이번 글에서는 Airflow를 효과적으로 활용하기 위한 모범 사례와 유용한 팁에 대해 알아보겠습니다. 1. DAG 분리 및 모듈화: 1.1 단일 DAG 원칙: 각 DAG는 특정한 작업 흐름을 나타내어야 합니다. 여러 작업 흐름이 하나의 DAG에 들어가면 가독성이 떨어질 수 있습니다. 1.2 모듈화: 관련된 작업들은 별도의 모듈로 분리하여 재사용성을 높이고 유지보수를 용이하게 합니다. # my_dag.py from my_module import create_tasks dag = DAG('my_dag', ...) tasks = create_tasks(dag) 2. 성능 최적화: ..

Apache Airflow에서 DAG(Directed Acyclic Graph)를 작성하고 예약하는 것은 데이터 파이프라인을 정의하고 관리하는 핵심적인 단계입니다. 이번 글에서는 Airflow에서 DAG를 작성하고 작업을 예약하는 방법에 대해 자세히 알아보겠습니다. 1. DAG 정의: 1.1 Python 스크립트 작성: DAG를 정의하려면 Python 스크립트를 작성해야 합니다. 이 스크립트는 각 작업을 DAG 객체에 추가하고 작업 간의 의존성을 설정하는 역할을 합니다. from airflow import DAG from airflow.operators.python_operator import PythonOperator from datetime import datetime, timedelta # DAG ..

데이터 과학 및 엔지니어링 분야에서 Apache Airflow는 데이터 파이프라인을 효과적으로 관리하고 예약하며 모니터링하는 데 필수적인 오픈 소스 도구로 자리 잡고 있습니다. 이 글에서는 Apache Airflow의 기본 개념과 왜 데이터 전문가들이 이를 사용하는지에 대해 알아보겠습니다. 1. Apache Airflow의 핵심 개념: 1.1 Directed Acyclic Graphs (DAGs): Airflow에서 작업들은 Directed Acyclic Graphs (DAGs)로 표현됩니다. DAG는 여러 작업들이 의존성을 가지며 비순환적인 구조를 갖는 데이터 흐름을 나타냅니다. 1.2 작업과 Operator: DAG 내에서 실행되는 개별 작업들을 Operator라고 부릅니다. Operator는 특정 ..

데이터 전처리는 데이터를 분석이나 머신러닝 모델에 적용하기 전에 데이터를 정리하고 가공하는 과정을 말합니다. 이를 통해 데이터의 품질을 향상시키고 모델의 성능을 향상시킬 수 있습니다. 아래는 데이터 전처리를 잘 할 수 있는 몇 가지 방법과 주의할 점을 제시합니다. 데이터 이해하기: 데이터의 특성과 분포를 잘 이해하는 것이 중요합니다. 이를 통해 어떤 전처리가 필요한지 판단할 수 있습니다. 데이터 누락 확인: 결측치(Missing values)를 확인하고 적절한 대체나 제거를 수행하세요. pandas 라이브러리를 사용하면 결측치 처리가 용이합니다. import pandas as pd # 결측치 확인 df.isnull().sum() # 결측치 대체 df.fillna(value, inplace=True) 이상..

지도 학습은 정답이 주어진 데이터에서 모델을 학습하는 반면, 비지도 학습은 데이터의 숨은 구조나 패턴을 찾아내는 방법입니다. 이번 글에서는 비지도 학습의 핵심 개념과 장점, 다양한 응용 사례에 대해 살펴보겠습니다. 1. 비지도 학습의 기본 개념: 비지도 학습은 라벨이 없는 데이터를 기반으로 모델을 학습시키는 방식입니다. 주요한 비지도 학습 기법으로는 군집화, 차원 축소, 자기 지도 학습 등이 있습니다. 군집화 (Clustering): 비슷한 특성을 갖는 데이터들을 그룹화하는 기법입니다. 예시: 고객 세그먼테이션, 이미지 분할 차원 축소 (Dimensionality Reduction): 고차원 데이터의 특성을 줄여 새로운 표현을 만드는 기법입니다. 예시: 주성분 분석 (PCA), t-SNE 자기 지도 학습..

지도 학습은 기계 학습에서 가장 기본이 되는 학습 방법 중 하나로, 입력 데이터와 해당 데이터에 대한 정답(레이블)을 사용하여 모델을 학습시키는 방식입니다. 지도 학습은 주로 분류(Classification)와 회귀(Regression) 문제를 해결하는 데 사용됩니다. 1. 분류 (Classification): 분류는 주어진 입력 데이터를 미리 정의된 클래스 중 하나로 분류하는 문제입니다. 간단한 예로는 이메일이 스팸인지 아닌지를 예측하는 것이 있습니다. 예시: 이메일 스팸 분류 입력 데이터: 이메일의 텍스트 내용 레이블: 스팸 또는 정상 이메일 from sklearn.model_selection import train_test_split from sklearn.feature_extraction.text..

AWS Athena 에서 아래와 같이 콤마(Comma)로 구분되어 한 행에 3개의 데이터가 나열되어 있다고 가정하자. fruit 사과, 수박, 참외 한 행에 있는 데이터를 아래와 같이 3개의 행으로 나타내고 싶은 경우 어떻게 하면 될까? fruit 사과 수박 참외 Cross JOIN : 카티션 곱(CARTESIAN PRODUCT) 한쪽 테이블의 모든 행과 다른 쪽 테이블의 모든 행을 조인시키는 기능입니다. 상호 조인 결과의 전체 행 개수는 두 테이블의 각 행 의 개수를 곱한 수만큼 됩니다. 우선 아래와 같이 split 함수를 쓰게 되면 WITH t AS ( SELECT '사과,수박,참외' AS fruit ) SELECT split(t.fruit, ',') Array 형식으로 결과값이 나온다. [사과, ..

스트리밍 데이터 처리를 위한 플랫폼들은 여러 가지가 있습니다. KSQL과 유사한 다른 스트리밍 플랫폼들과의 비교를 통해 장단점을 살펴보면 좋을 것 같습니다. 1. Apache Flink 장점: Flink은 스트리밍 및 배치 처리를 모두 지원하며 상태 관리와 관련된 기능이 강력합니다. 이벤트 시간 윈도우, 정확한 한 번 처리 보장 등의 기능을 제공합니다. 단점: Flink은 배포와 관리가 다소 복잡하고, 학습 곡선이 가파릅니다. 2. Apache Spark Streaming 장점: Spark Streaming은 배치 처리와 스트리밍 처리를 함께 제공하여 유연한 사용이 가능합니다. 큰 규모의 데이터를 처리하는 데 강점이 있습니다. 단점: 초당 수백만 개 이상의 이벤트를 처리하는 경우에는 처리 지연이 발생할 ..

KSQL의 몇 가지 고급 기능과 성능 최적화에 대해 다루도록 하겠습니다. 1. 윈도우 함수 활용 윈도우 함수는 시간 또는 이벤트 윈도우에 데이터를 그룹화하고 집계하는 데 사용됩니다. 이 기능을 사용하여 특정 시간 간격 내의 데이터를 처리하거나 윈도우를 이동시켜 실시간 집계를 수행할 수 있습니다. 2. 조인의 활용 KSQL은 여러 스트림 간의 조인을 지원합니다. 여러 데이터 소스로부터 데이터를 가져와 조인을 수행하거나 조인 조건에 따라 스트림을 결합할 수 있습니다. 이를 통해 데이터를 풍부하게 조합하고 분석할 수 있습니다. 3. 효율적인 쿼리 작성 KSQL에서 효율적인 쿼리를 작성하는 것은 중요합니다. 데이터 처리 속도를 높이기 위해 인덱스, 옵티마이저 힌트 등을 활용하여 쿼리를 최적화하는 방법을 다룰 수..