Lv2 | 튜닝 | 하이퍼파라미터, GridSearch 개념 (정지규칙)

하이퍼 파라미터 튜닝은 정지규칙 값들을 설정하는 것을 의미한다.

의사결정나무에는 정지 규칙이라는 개념이 있다.

 

1. 최대깊이

최대깊이는 최대로 내려갈 수 있는 depth 이다. 뿌리 노드로부터 내려갈 수 있는 깊이를 지정하며 작을수록 트리는 작아지게 된다.

 

2. 최소노드크기

최소노드크기는 노드를 분할하기 위한 데이터 수이다. 해당 노드에 이 값보다 적은 확률변수 수가 있다면 stop 작을수록 트리는 커지게 된다.

 

3.최소향상도

최소향상도는 노드를 분할하기 위한 최소 향상도이다. 향상도가 설정값 이하라면 더 이상 분할하지 않는다. 작을수록 트리는 커진다.

 

4.비용 복잡도

트리가 커지는 것에 대해 패널티 계수를 설정해서 불순도와 트리가 커지는 것에 대해 복잡도를 계산하는 것이다.

 

이와 같은 정지규칙들을 종합적으로 고려해 조건값을 설정할 수 있으며, 이를 하이퍼파라미터 튜닝이라고 한다.

하이퍼파라미터 튜닝에는 다양한 방법론이 있다. 그 중 Best성능을 나타내는 GridSearch는 완전 탐색을 사용한다. 가능한 모든 조합 중에서 가장 우수한 조합을 찾아준다. 하지만, 완전 탐색이기 때문에 Best 조합을 찾을 땎지 시간이 매우 오래 걸린다는 단점이 있다.