이서's 잡학다식

확률과 분포: 데이터의 패턴을 이해하는 열쇠데이터 분석과 통계학에서 확률과 분포는 데이터를 이해하고 모델링하는 데 필수적인 개념입니다. 이 글에서는 확률과 분포의 기본 개념, 주요 분포의 종류, 그리고 이를 실무에서 활용하는 방법을 살펴보겠습니다.1. 확률(Probability)이란?확률은 특정 사건이 발생할 가능성을 수치로 나타낸 것입니다. 확률의 값은 항상 0과 1 사이에 위치하며, 0은 사건이 절대 발생하지 않음을, 1은 사건이 반드시 발생함을 의미합니다.확률의 기본 규칙:확률의 범위: 모든 사건의 확률은 0에서 1 사이의 값을 가짐.전체 확률의 합: 모든 가능한 사건의 확률 합은 1.배반 사건: 두 사건이 동시에 발생할 수 없을 경우, P(A ∪ B) = P(A) + P(B).예제:주사위를 던졌을..

데이터 전처리: 데이터 분석과 머신러닝을 위한 필수 과정데이터 전처리는 데이터를 분석하거나 머신러닝 모델에 적용하기 전에 데이터를 정리하고 가공하는 과정입니다. 이를 통해 데이터의 품질을 향상시키고 모델의 성능을 극대화할 수 있습니다. 이번 글에서는 데이터 전처리의 주요 방법과 주의할 점을 정리해보겠습니다.1. 데이터 이해하기데이터의 특성과 분포를 파악하는 것이 가장 먼저 해야 할 일입니다. 이를 통해 어떤 전처리 과정이 필요한지 판단할 수 있습니다. 데이터 시각화와 기초 통계를 활용하면 데이터의 구조와 이상점을 쉽게 확인할 수 있습니다.import pandas as pdimport seaborn as snsimport matplotlib.pyplot as plt# 데이터 로드df = pd.read_cs..

1. 지도 학습이란?지도 학습(Supervised Learning)은 입력 데이터(특징)와 정답(레이블)을 활용하여 모델을 학습시키는 기계 학습 방법입니다. 주어진 데이터에서 패턴을 찾아 새로운 입력에 대한 예측을 수행할 수 있도록 모델을 훈련하는 방식입니다.지도 학습은 크게 두 가지 유형으로 나뉩니다:분류(Classification): 데이터를 미리 정의된 여러 개의 클래스 중 하나로 분류하는 문제 (예: 스팸 메일 분류)회귀(Regression): 연속적인 값을 예측하는 문제 (예: 주택 가격 예측)2. 분류(Classification) 예제: 이메일 스팸 필터링🔹 문제 정의입력 데이터: 이메일 텍스트 내용레이블: 스팸(1) 또는 정상(0)🔹 코드 구현from sklearn.model_select..

머신 러닝은 대용량 데이터셋에서 유용한 정보를 추출하고 예측 모델을 구축하는 데에 핵심적인 도구입니다. 이번 글에서는 PySpark의 MLlib 라이브러리를 활용하여 대용량 데이터에 머신 러닝 알고리즘을 적용하는 방법을 알아보겠습니다. 1. 데이터 준비 우선, PySpark를 사용하여 데이터를 불러오고 전처리하는 방법을 살펴보겠습니다. 데이터를 로드하고, 특성을 선택하고 변환하는 과정을 다룰 것입니다. from pyspark.ml.feature import VectorAssembler # 데이터 로드 및 전처리 data = spark.read.csv('data.csv', header=True, inferSchema=True) assembler = VectorAssembler(inputCols=['feat..

PySpark는 파이썬 언어를 기반으로 하는 Apache Spark의 파이썬 API입니다. Apache Spark는 대규모 데이터 처리를 위한 빠르고 유연한 오픈 소스 클러스터 컴퓨팅 시스템입니다. PySpark는 데이터 처리, 분석, 머신 러닝, 그래프 처리 등 다양한 작업을 수행하는 데 사용됩니다. PySpark는 다양한 기능을 제공하는데요, 주요 기능은 다음과 같습니다 RDD(Resilient Distributed Dataset): PySpark는 RDD를 통해 데이터를 나타내고, 분산하여 처리할 수 있습니다. RDD는 분산된 컴퓨팅 환경에서 안정적으로 데이터를 처리할 수 있도록 지원합니다. DataFrame 및 SQL 기능: PySpark는 DataFrame API를 제공하여 구조화된 데이터를 처..

강화 학습은 머신러닝의 한 분야로, 에이전트가 환경과 상호 작용하면서 보상을 최대화하도록 배우는 방법론입니다. 에이전트는 주어진 환경에서 특정한 상태(state)를 관찰하고, 그 상태에서 특정한 행동(action)을 선택함으로써 보상(reward)을 얻게 됩니다. 이러한 보상을 최대화하기 위해 에이전트는 시행착오를 통해 학습하고, 적합한 행동을 선택하게 됩니다. 주요 개념 에이전트(Agent): 의사 결정을 내리고 행동하는 주체입니다. 예를 들어, 게임에서의 플레이어, 로봇, 자율 주행 자동차 등이 될 수 있습니다. 환경(Environment): 에이전트가 상호 작용하는 외부 요소입니다. 에이전트는 환경에서 특정 상태를 관찰하고, 행동을 수행하여 보상을 얻습니다. 상태(State): 주어진 시간에 에이전..

비지도 학습(Unsupervised Learning)은 머신러닝의 한 분야로, 라벨 또는 정답 데이터 없이 입력 데이터의 패턴, 구조, 특성 등을 발견하는 데 사용됩니다. 이것은 데이터의 숨겨진 구조를 찾거나 클러스터링(Clustering), 차원 축소(Dimensionality Reduction), 이상치 탐지(Anomaly Detection) 등의 작업을 수행하는 데 활용됩니다. 데이터의 구조 발견을 통한 인사이트 도출 비지도 학습은 데이터에 대한 사전 지식이 없는 상황에서도 유용합니다. 이를 통해 데이터 내에 숨겨진 패턴이나 특징을 발견할 수 있어, 신규한 정보와 인사이트를 얻을 수 있습니다. 예를 들어, 소셜 미디어의 사용자 행동 데이터를 클러스터링하여 비슷한 행동 패턴을 가진 그룹을 발견하거나,..

지도 학습은 머신러닝의 한 유형으로, 입력 데이터와 그에 대응하는 정답 데이터(라벨 또는 타겟)가 쌍으로 제공되며, 컴퓨터 모델이 입력 데이터로부터 출력을 예측하고 정답과 비교하여 학습하는 방법입니다. 지도 학습은 주어진 입력에 대한 출력을 예측하는 모델을 학습하는 데 사용됩니다. 주로 분류(Classification)와 회귀(Regression) 작업에 적용됩니다. 분류(Classification): 범주형 또는 이산적인 결과를 예측합니다. 예를 들어, 스팸 메일 필터링, 이미지 분류(강아지 vs 고양이), 질병 진단 등이 이에 해당합니다. 이진 분류(두 개의 클래스로 분류)와 다중 클래스 분류(여러 클래스로 분류)로 나뉩니다. 회귀(Regression): 연속적인 값을 예측합니다. 예를 들어, 주택 ..

머신러닝은 컴퓨터가 데이터로부터 학습하고 패턴을 인식하여 작업을 수행할 수 있는 인공 지능(AI)의 한 분야입니다. 주어진 데이터를 사용하여 컴퓨터가 규칙이나 명시적인 프로그래밍 없이 학습하고 문제를 해결하도록 하는 기술입니다. 기본적으로 머신러닝은 다음과 같은 세 가지 유형으로 나눌 수 있습니다: 지도 학습 (Supervised Learning): 입력 데이터와 정답 데이터(라벨)가 함께 제공되며, 모델은 입력 데이터와 정답 사이의 매핑을 학습합니다. 분류(Classification)와 회귀(Regression) 문제에 사용됩니다. 비지도 학습 (Unsupervised Learning): 라벨이 없는 입력 데이터만을 이용하여 패턴이나 구조를 발견하거나 데이터를 클러스터링합니다. 군집화(Clusterin..

모델링 과정에서 가장 먼저 알아볼 것은 바로 train_test_split() 메소드입니다. train_test_split() 메소드는 데이터 셋을 train_set과 test_set으로 손쉽게 분리할 수 있게 도와주는 메소드입니다. train / test 데이터 셋을 분리하는 이유 먼저, train/test를 분리하는 목적에 대해 정확히 이해해야 합니다. 용어를 정확히 하자면 train/test가 아니라 train/validation이 맞는 표현입니다. 머신러닝 모델에 train 데이터를 학습 시킨 후 test 데이터를 모델로 예측했을 경우 성능이 생각보다 낮게 나오는 경우가 발생합니다. 이러한 현상을 보통 Overfitting 되었다고 합니다. 이미지 출처 : educative.io 즉, 현재 모델이..