Lv3 | 튜닝 | Bayesian Optimization 실습
Data Analyst

빅데이터 관련 자료/Dacon

Lv3 | 튜닝 | Bayesian Optimization 실습

carpe08 2021. 8. 26. 14:24
320x100
320x100
# X에 학습할 데이터를, y에 목표 변수를 저장해주세요

X = train.drop(columns=['index','quailty'])
y = train['quality']




# 랜덤포레스트의 하이퍼 파라미터의 범위를 dictionary 형태로 지정해주세요
## Key는 랜덤포레스트의 hyperparameter이름이고, value는 탐색할 범위 입니다.

rf_parameter_bounds = {
		'max_depth' : (1,3) #나무의 깊이
        'n_estimators' : (30,100),
        }



# 함수를 만들어주겠습니다.
# 함수의 구성은 다음과 같습니다.

# 1. 함수에 들어가는 인자 = 위에서 만든 함수의 key값들
# 2. 함수 속 인자를 통해 받아와 새롭게 하이퍼파라미터 딕셔너리 생성
# 3. 그 딕셔너리를 바탕으로 모델 생성
# 4. train_test_split을 통해 데이터 train-valid 나누기
# 5 .모델 학습
# 6. 모델 성능 측정
# 7. 모델의 점수 반환

def rf_bo(max_depth, n_estimator):
	rf_params = {
    	'max_dept': int(round(max_depth)),
        'n_estimators' : int(round(n_estimators)),
        }


 rf = RandomForestClassifier(**rf_params)
 
 X_train, X_valid, y_train, y_valid = train_test_split(X,y,test_size=0.2)
 
 rf.fit(X_train. y_train)
 
 score = accuracy_score(y_valid,rf.predict(X_valid))
 return score
  
  
# 이제 Bayesian Optimization을 사용할 준비가 끝났습니다.
# "BO_rf"라는 변수에 Bayesian Optmization을 저장해보세요

BO_rf = BayesianOptimization(f = rf_bo, pbounds = rf_parameter_bounds,random_state = 0)



# Bayesian Optimization을 실행해보세요

BO_rf.maximize(init_points = 5, n_iter = 5)




# 하이퍼파라미터의 결과값을 불러와 "max_params"라는 변수에 저장해보세요

max_params = BO_rf.max['params']

max_params['max_depth'] = int(max_params['max_depth'])

max_params['n_estimators'] = int(max_params['n_estimators'])

print(max_params)



# Bayesian Optimization의 결과를 "BO_tuend_rf"라는 변수에 저장해보세요

BO_tuend_rf = RandomForestClassifier(**max_params)
320x100
320x100