이서's 잡학다식

필요한 라이브러리 불러오기 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns 필요한 데이터셋 불러오기 df=sns.load_dataset("mpg") df.shape # (398,9) 데이터셋 일부만 가져오기 df.head() 데이터 요약하기 df.info() 결측치 보기 df.isnull().sum() 기술 통계 보기 df.describe() 범주형일 경우 include를 사용해 볼 수 있다. df.describe(include="object") 수치형 변수 보기 수치형 변수 mpg의 unique 값 보기 df.nunique() hist()를 통해 전체 수치변수에 대한 히스토그램을 그려본..

Query a list of CITY names from STATION for cities that have an even ID number. Print the results in any order, but exclude duplicates from the answer. The STATION table is described as follows: # 나의 해답 SELECT DISTINCT(CITY) FROM STATION WHERE MOD(ID,2)=0;

테스트 파일을 훈련된 모델로 예측해본다. 훈련된 모델에서 predict() 매서드에 예측하고자 하는 data를 인자로 넣어주게 되면 해당 결과 array를 할당할 수 있다. [할당할 array]= model.predict(test)

Query a list of CITY and STATE from the STATION table. The STATION table is described as follows: # 나의 해답 SELECT CITY, STATE FROM STATION;

모델을 선언한 후, fit(X,Y) 함수를 사용해서 모델을 훈련시킨다. 여기서 주의해야 할 점은 x 데이터는 예측에 사용되는 변수들이고 Y 데이터는 예측결과 변수여야 한다. x데이터는 train Data에서 drop(['제외할 컬럼명'],axis=1)을 함수를 이용해 예측할 피쳐를 제외할 수 있다. Y데이터는 train['예측할 컬럼명']으로 인덱싱할 수 있습니다. X_train = train.drop(['제외할컬럼명'], axis=1) Y_train = train['예측할컬럼명'] 이제 모델을 선언하고, fit() 함수를 이용해 모델을 훈련시킨다. model=DecisionRegressor() model.fit(X_train,Y_train)

Query the names of all the Japanese cities in the CITY table. The COUNTRYCODE for Japan is JPN. The CITY table is described as follows: # 나의 해답 SELECT NAME FROM CITY WHERE COUNTRYCODE ='JPN';

해당 라이브러리로부터 원하는 모듈을 불러오기 sklearn.Tree 에서 DecisionTreeRegressor 모듈을 불러온다. from sklearn.Tree import DecisionTreeRegressor model=DecisionTreeRegressor()

시각화 도구: seaborn 필요한 라이브러리 불러오기 import pandas as pd import seaborn as sns import numpy as np 필요한 데이터셋 불러오기 df=sns.load_dataset("anscombe") #씨본에서 제공하는 데이터, pd.read_csv("https://raw.githubusercontent.com/mwaskom/seaborn-data/master/anscombe.csv") 똑같음 df.shape #(44, 3) df_1,2,3,4, 만들기 df_1=df[df["dataset"]=='I'] df_1.describe() df_1.corr() df_2,3,4도 똑같이 생성하면 된다. series 빈도수 구하기 - value_counts() df["d..

EDA Project 프로젝트 기간: 7월 14일 ~ 8월 2일 팀명: 플로우 멘토: 윤00(머신러닝 엔지니어) 팀원: 최00, 박상욱, 홍00, 김00 담당매니저: 김00 개최: NanoDegree 광고 타켓 지표 대시보드 태블로로 시각화 - 연도-월마다 요일별 시간대 주문 시각화 - State 별 주문 건수(Top5 state-) 시각화 - 카테고리별 주문 건수 시각화 - 주문 트렌드 시각화 https://public.tableau.com/app/profile/in.wha.hong/viz/1_16270920202890/1 1차 프로젝트 1차 프로젝트 public.tableau.com Notion 포트폴리오 https://www.notion.so/Brazil-E-commerce-Olist-busines..

Query all attributes of every Japanese city in the CITY table. The COUNTRYCODE for Japan is JPN. The CITY table is described as follows: # 나의 해답 SELECT * FROM CITY WHERE COUNTRYCODE ='JPN';

# 의사결정나무란? 결정 트리는 의사 결정 규칙과 그 결과들을 트리 구조로 도식화한 의사 결정 지원 도구의 일종이다. A 를 만족하는가? True False B를 만족하는가? C를 만족하는가? True False True False D 이다 F이다 G이다 H이다 EDA를 통해 data를 살펴보면 각 행들은 피쳐들을 갖고 있다. 이 중 하나의 피쳐를 정해서 해당 피쳐의 값에 대해 특정한 하나의 값을 정한다면, 이를 기준으로 모든 행들을 두개의 노드로 분류할 수 있다. 대표적인 의사결정나무인 CART 의사결정 나무는 이진분할을 사용한다. 파생된 두 개의 노드에 대해서 또 다시 새로운 피쳐의 특정한 값을 정하고 분류를 정한다. 이 과정을 반복하게 되면 점점 피쳐의 값에 따라 data들이 분류가 되는데 이를 의..

Query all columns for a city in CITY with the ID 1661. The CITY table is described as follows: # 나의 해답 SELECT * FROM CITY WHERE ID=1661;

import sklearn from sklearn.tree import DecisionTreeClassifier EDA를 통해 데이터를 살펴보고, 전처리를 하였다면, 본격적으로 머신러닝 모델을 훈련시키고, 훈련된 모델을 통해 예측을 한다. 선행 연구된 놀랍고 다양한 모델들이 있는데, 이러한 머신러닝 모델들을 TensorFlow, PyTorch 등 Python 오픈 소스 머신 러닝 라이브러를 통해 손쉽게 구현 가능하다 먼저 sckit-learn 라이브러리를 사용해 모델링을 시작한다. scikit-learn 홈페이지: https://scikit-learn.org/stable/

Query all columns (attributes) for every row in the CITY table. The CITY table is described as follows: # 나의 해답 SELECT * FROM CITY;

dropna()를 사용하면, 결측치를 갖는 행을 DataFrame 객체에서 삭제한다. 결측치를 처리하는 방법 중 가장 쉽고 간단한 방법인 결측치를 제거 하는 방법을 사용하겠다. DataFrame.dropna() fillna()를 사용해 모든 결측치를 인자값으로 대체할 수 있다. DataFrame.fillna()

EDA Project 프로젝트 기간: 7월 14일 ~ 8월 2일 팀명: 플로우 멘토: 윤00(머신러닝 엔지니어) 팀원: 최00, 박상욱, 홍00, 김00 담당매니저: 김00 개최: NanoDegree 4. 데이터 분석 전처리 된 데이터를 가지고 본격적으로 데이터 분석을 시작하였다. 내가 한 분석을 위주로 설명을 하겠다. 4.1 날짜, 시간, 요일별 소비 패턴 파악하기 분석 의도 광고는 많은 사람들에게 노출이 되어야 그 효과를 제대로 발휘 할 수 있다. 브라질의 국민들이 어떤 요일에, 어떤 시간대에 주로 주문을 하는지를 파악한다면, 언제 광고를 노출 시켜야 가장 효율적인 홍보 효과를 누릴 수 있는지를 파악하고자 하였다. 2016년부터 2018년까지 전체적인 브라질 상품 주문량의 증감 추이를 시계열로 분석하..

import 필요한 라이브러리를 로드 import pandas as pd import numpy as np import seaborn as sns DataFrame 행과 열로 구성된 비어있는 데이터프레임을 생성 df = pd.DataFrame() df 컬럼 추가하기 df["자동차"]=["소형차", "중형차", "대형차", "소형차", "대형차", "중형차"] df["가격"]=[3000, 5000, 7000, 4000, 9000, 7000] df["가격"] #series형태 df[["가격"]] #dataframe 형태 tolist() 가격 컬럼전체를 리스트 형태로 변경합니다. df["가격"].tolist() 컬럼값 변경하기 df.columns=['차종류','시세'] 데이터 요약하기 df.info() # 해..

Query the NAME field for all American cities in the CITY table with populations larger than 120000. The CountryCode for America is USA. The CITY table is described as follows: # 나의 해답 SELECT NAME FROM CITY WHERE POPULATION>120000 AND CountryCode ='USA';

DataFrame에 info() 매서드를 사용하면, 피쳐들의 결측치와 데이터 타입을 확인할 수 있다. 모델링에 앞서 결측치가있다면, 결측치들을 어떻게 다뤄야할지 고민하고 처리하는 과정이 필요하다. df.info()

결측치는 말 그대로 데이터에 값이 없는 것을 뜻한다. 줄여서 'NA' 또는 'NULL' 이라고 표현한다. pandas에서는 결측치를 NaN으로 표현하며, isnull() 메서드를 사용하면 DataFrame에서 NaN 값을 확인할 수 있다. isnull() 메서드는 DataFrame에서 데이터가 NaN 값이면 True로 , 그렇지 않으면 False로 리턴한다. import pandas as pd import numpy as np df=pd.DataFrame({'name':['a','b','c'],'age':[30,np.nan,19],'class':[np.nan,2,3]}) df.isnull() df.isnull().sum() 하게 되면 데이터 프레임의 각 열 별 결측치 수를 확인할 수 있다.

EDA Project 프로젝트 기간: 7월 14일 ~ 8월 2일 팀명: 플로우 멘토: 윤00(머신러닝 엔지니어) 팀원: 최00, 박상욱, 홍00, 김00 담당매니저: 김00 개최: NanoDegree 3. 데이터 전처리 - 상품 카테고리명 한국어 번역 from googletrans import Translator # english to korea trans = Translator() result = trans.translate("english.", src='en', dest='ko') result.text category_list = order_df['product_category_name_english'].value_counts().index.tolist() print(category_list) cat..

Pandas 라이브러리를 이용하여 데이터를 확인하는 방법 그 중 가장 대표적인 메서드: head() head() 메서드는 데이터를 전부 보여주지 않고 상단 부분만 출력하여 보인다. tail() 메서드는 하단 부분만 출력하여 보인다. import pandas as pd train=pd.read_csv("data/train.csv") train.head() train.tail()

read_csv를 통해 csv파일을 pandas 라이브러리에서 제공하는 dataframe 객체로 변환했다면, 불러온 데이터의 행과 열의 갯수를 관찰할 수 있다. [DataFrame 변수명].shape df.shape

딕셔너리 참고자료: https://docs.python.org/3/tutorial/datastructures.html#dictionaries 5. Data Structures — Python 3.9.6 documentation 5. Data Structures This chapter describes some things you’ve learned about already in more detail, and adds some new things as well. 5.1. More on Lists The list data type has some more methods. Here are all of the methods of list objects: list.append(x) docs.python.org d..

파이썬에서 데이터 파일(csv 파일)을 불러오기 위해서는 pandas 라이브러리를 이용한다. pandas를 이용해 csv 파일을 불러오기 위해서는 아래와 같이 pandas를 먼저 import 해야한다. 그리고 약어로 지정한 pd를 사용하여 read_csv함수를 통해 csv 파일을 불러 올 수 있다. import [라이브러리] as [사용할이름] import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns

리스트의 인덱싱 - car라는 변수에 담겨있는 '구급차'를 인덱싱을 통해 가져오기 car 리스트의 첫번째 원소는 0부터 시작하므로 구급차는 인덱싱 순서로 2번째에 있다. car=['경찰차','소방차','구급차','녹차'] car[2] - 1번째 인덱스 가져오기 car[1] - 마지막 인덱스 가져오기 car[-1] 문자열을 리스트로 만들기 - split(): address를 공백으로 문자열 분리 address=" 경기도 파주시 심학산로 000 1001동 " address_list=address.split() - len(): 문자열 길이 구하기 len(address) - len(): 리스트의 길이 구하기 총 리스트의 길이로 리스트 안의 원소 개수와 같다. len(address_list) - 인덱싱으로 '파주..

현재 주피터 노트북이 있는 경로를 출력할 수 있다. %pwd Zen of Python - 파이썬의 철학이 잘 담겨있는 Zen of Python 을 출력할 수 있다. - import를 통해 파이썬의 라이브러리나 패키지를 가져올 수 있다. import this boolean 파이썬에는 명시적인 것이 암시적인 것보다 낫다라는 철학이 있다. True 나 False는 0과 1로도 표현할 수 있으나 명시적으로 표현하기 위해 True와 False를 사용한다. # True는 1과 같음을 표현하기 # 파이썬에서는 같음을 비교할 때 == 연산을 사용한다. print(True== 1) print(True=="1") True != "1" # 문자열 1과 True는 다르다. False != "1" # False 도 마찬가지이다..

파이썬에서 데이터 파일(csv 파일)을 불러오기 위해서는 pandas 라이브러리를 이용한다. pandas를 이용해 csv 파일을 불러오기 위해서는 아래와 같이 pandas를 먼저 import 해야한다. import [라이브러리] as [사용할이름] import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns