파라미터/하이퍼파라미터

파라미터(Parameter, 매개변수) 

 

파라미터(parameter, 매개변수)는 학습 과정에서 생성되는 변수들입니다.

예를 들어 한 학년에 속해 있는 학생들의 키에 대한 정규분포를 그린다고 하면, 평균과 표준편차가 계산 될 것입니다. 여기서 평균과 표준편차가 파라미터(Parameter, 매개변수) 입니다.  

파라미터는 데이터를 통해 구해지며, 모델 내부적으로 결정되는 값입니다. 사용자가 임의로 설정하는 값이 아닙니다.

LGBM 모델과 딥러닝 모델의 학습 가중치들이 파라미터에 해당됩니다.

 

하이퍼 파라미터(Hyper parameter)

하이퍼 파라미터는 모델링할 때 사용자가 직접 세팅해주는 값을 뜻합니다.

learning rate나 트리 기반 모델의 트리의 최대 깊이, 최소 노드 갯수 등 굉장히 많습니다. 머신러닝 모델을 쓸 때 사용자가 직접 세팅해야 하는 값은 상당히 많은데 그 모든 값이 다 하이퍼 파라미터 입니다. 

 

하이퍼 파라미터는 정해진 최적의 값이 존재하지 않습니다. 휴리스틱한 방법이나 분석가의 경험에 의해 결정하는 경우가 많습니다.  

또한 적절한 하이퍼 파라미터를 찾아주는 grid search, basian optimization 등 다양한 방법이 있습니다.

 

요약

파라미터와 하이퍼 파라미터를 구분하는 기준은 사용자가 직접 설정하느냐 아니냐 입니다.

사용자가 직접 설정하면 하이퍼 파라미터, 모델 혹은 데이터에 의해 결정되면 파라미터 입니다.