이서

t-test 란? 모집단의 표준편차가 알려지지않을 때 정규분포의 모집단에 모은 샘플의 평균값에 대한 가설검정 방법 만약에 그룹이 한개 더 있다면? 비교할 집단이 세 개 이상인 경우 t-test를 세 번하면 될 것같았으나 1종오류에 빠짐 따라서 우리는 새로운 방법을 배워야 한다. One-Way ANOVA 이다. 왜 평균 분석이 아니고 분산분석일까? 독립변수 독립인 변수~ 무엇으로부터 독립일까요? 여기서 독립은 논리적 관계에서의 독립을 의미합니다. 의도적으로 변화시킬 수 있다고 하여 마음대로 해도 된다는 의미는 아닙니다. 종속변수 논리적 관계에서의 종속을 의미합니다. 결과가 되는 변수 통제변수 연구자나 조사자의 관심사에서 벗어난 독립변수 고객만족 높으면 ~ 재방문율 높다. 고객만족이 독립변수, 재방문율이 종..

t-test - 모집단의 표준편차가 알려지지 않을 때 정규분포의 모집단에서 표본의 평균값에 대한 가설검정 방법 - 무슨 소리인지 한개도 모르겠음 t-test 목적 - 너무 단순하지만, 두개의 집단이 같은지 다른지 비교하기 위해 사용 집단? => 표본, 모집단 표본과 모집단은 어떻게 다를까요? 두 집단의 평균값이 통계적으로 같은지 다른지를 확인하여 두 집단이 같은지 다른지 비교할 수 있다. 키 차이 1.4cm t-test를 위한 통계적 질문 A대학 남학생 평균키와 B대학 남학생 평균키가 우연히 같은 확률은 얼마나 될까? = A대학과 B대학의 남학생 평균키 차이인 1.4cm가 우연히 발생했을 확률은 얼마나 될까? 그렇다면 과연 1.4cm의 차이가 얼마나 커야 우연히 발생하지 않았다고 판단할 수 있을까? 1...

상관관계 - 한 변수와 다른 변수가 공변하는 함수관계 - 상관관계를 나타내는 상관계수는 힘. 방향을 의미합니다. 상관계수 -1부터 0을 거쳐 1사이에만 존재 크기는 힘을 의미 힘이 세다는 것은 1에 가깝다. scatterplot으로 데이터들이 가깝게 모여있을수록 힘이 세다. 점의 추세선 각도와는 상관없이 얼마나 모여있는지에 따라 상관계수값이 딸라진다. 상관관게는 직선관계만을 측정할수있다. 곡선은 측정이 불가능합니다. 이럴때는 상관관계를 논하는 것은 의미없다. 상관관계는 인과관계가 아니다 인과관계는 원인과 결과의 관계를 가지는 변수의 관계성을 의미 고객은 만족하기 때문에 재방문하려고 한다. 수입이 있기 때문에 지출이 있다.

통계란 분산의 마법입니다. 평균: 자료의 중심값으로서 자료의 특성을 대표하는 값, 모든 자료로부터 영향을 받는다. 아웃라이어에 취약하다. 분산: 내가 가진 자료가 평균값을 중심으로 퍼져 있는 평균적인 거리 why 평균과 분산인가?: 계산이 쉽다. 가우스에 따르면 데이터의 불규칙성이 정규분포를 따르고 있으면 최소제곱법이 가장 좋은 추정방법이고, 그 결과 평균값이 가장 좋은 추정값이 됨, 체비체프에 따르면, 데이터의 불규칙성이 어떠하든 평균값 +-2xSD 범위안에는 반드시 전체의 4분의 3이상의 데이터가 존재하는 것이 증명됨 p값 왜 유의할까? p값이 0.05보다 작으니 유의하다. => p값은 무엇이고, 0.05는 뭐며, 유의하다는건 무슨 뜻일까? p값은 무엇일까? percent? possibility? p..

이번 시간에는 Hyper Parameter의 3가지 튜닝 방법을 비교해보겠습니다. 1. GridSearch 기법: =사전에 탐색할 값들을 미리 지정해주고, 그 값들의 모든 조합을 바탕으로 성능의 최고점을 찾아낸다. 장점: 내가 원하는 범위를 정확하게 비교 분석이 가능하다. 단점: 시간이 오래걸린다. (4개의 파라미터에 대해서, 4가지 값들을 지정해두고, 한번 탐색하는데 1분이 걸린다면 -> 4*4*1분 = 16분) 소요) 성능의 최고점이 아닐 가능성이 높다. "최적화 검색" (여러개들을 비교 분석해서 최고를 찾아내는 기법)이지, "최적화 탐색"(성능이 가장 높은 점으로 점차 찾아가는 기법)이 아니다. 2. Random Search 기법: 사전에 탐색할 값들의 범위를 지정해주고, 그 범위 속에서 가능한 조..

상관분석과 회귀분석 - 인과관계 예측 => 좋은 의사결정 - 상관분석과 회귀분석 : 변수간의 관련성 분석 - 선형관계: 두 변수간의 선형관계를 계량적으로 분석 - 회귀분석: 변수를 설명변수와 종속변수로 구분하여, 종속변수를 설명변수의 특정한 함수 형태로 설명할 수 있는지를 분석 1. 상관분석 두 확률변수 X와 Y의 상관관계(선형관계)의 부호와 강약을 나타내는 척도 상관계수의 특성 ① ρXY의 범위는 -1≤ρXY≤1 ② 두 변수가 서로 독립이면 두 변수 간에 상관관계가 없으며, ρXY =0 ③ ρXY =0 이면 두 변수 간에 상관관계(선형관계)가 없다. 그러나 비선형관계는 있을 수 있기 때문에 두 변수가 서로 독립이라는 보장은 없다. ④ X와 Y가 정규분포를 따르는 경우, ρXY =0 이면 X와 Y는 독립..

교차검증 K-Fold의 아이디어는 단순하다. "모든 데이터를 최소한 한 번씩 다 학습하게 하자!" 그래서 valid 데이터를 겹치지 않게 나누어 N개의 데이터셋을 만들어 낸다. 만약 데이터셋을 5개로 만든다고 하면, (==valid size가 20%) 겹치지 않게 위와 같은 모양으로 만들 수 있다. 그리고 반복문을 통해서 1번부터 5번 데이터들에 들어갔다가 나오면서, 데이터를 모두 최소한 한번씩은 학습한다. 실습 # sklearn에 model_selection 부분 속 KFold를 불러와보세요 from sklearn.model_selection import KFold # KFold에 n_splits = 5, shuffle = True, random_state = 0이라는 인자를 추가해 "kf"라는 변수에..

두 모집단에 대한 추론 1. 모평균 차이에 대한 추론 (모분산 기지) 모평균 차이에 대한 100(1-α)% 신뢰구간(confidence interval) 2. 모평균 차이에 대한 추론 (모분산을 모르지만 같은 경우) 모평균 차이에 대한 신뢰구간 3. 모평균 차이에 대한 추론 (모분산을 모르며 다른 경우) 모평균 차이에 대한 신뢰구간 4. 모비율 차이에 대한 추론 (표본이 큰 경우) 모비율 차이의 신뢰구간 5. 모분산 비율에 대한 추론 모분산 비율의 신뢰구간 분산분석 - 인과관계 예측이 좋은 의사결정 - 분산분석 : 어떤 요인이 반응치에 영향을 주는지 분석 - 분산분석의 용도 : 분산분석을 통해 의미 있는 요인들을 선별하고, 바람직한 반응치를 얻을 수 있는 수준 범위를 사전에 찾아 놓으면 추후의 분석에 많..

범주형 데이터 분석 1. 적합도 검정(goodness of fit test) - 본격적인 검정을 들어가기 전에 한다. - 관측이나 실험을 통해 얻어진 표본 데이터의 분포가 특정 형태의 분포와 일치하는지 알아보고자 하는 검정 방법 - 범주형 데이터의 관측치와 기댓값과의 차이를 근거로 검정 - 범주의 총 개수 à k - 범주 i의 기대도수(expected frequency) à E_i - 범주 i의 관측도수(observed frequency) à O_i 귀무가설 H0 : “관측 데이터는 특정 분포를 따른다” 귀무가설 H0 : 범주 i의 발생확률 pi 설정 k = 범주의 개수 m = 귀무가설에서 설정한 분포에서 추정한 모수의 개수 실습코드 # 카이제곱 검정 (적합도) print(spt.chisquare([16..

표본의 분포 1. 통계량과 추정량 확률표본(random sample) 독립적이며 동일한 분포를 따르는 (iid: independent and identically distributed) 확률변수들의 집합 통계량(statistic) 미지의(unknown) 모수를 포함하지 않는 확률표본의 함수 추정량(estimator) 미지의 모수를 추정하기 위한 통계량 불편성(unbiasedness) 추정량의 기댓값이 추정하고자 하는 모수와 같아지는 특성으로서, 좋은 추정량이 되기 위한 첫 번째 요건 정규 모집단에서 일정한 개수의 확률표본으로 만들 수 있는 모평균에 대한 불편추정량 중 표본평균의 분산이 최소(UMVUE) 2. 중심극한정리 표본평균의 분포가 정규분포로 근사 단일 모집단에 대한 추론 구간추정 신뢰구간(conf..