경사 하강법
경사 하강법은 목적 함수의 기울기 반대 방향으로 매개변수를 반복 갱신하여 작은 값을 찾는다 연속 최적화 분야의 대표적인 알고리즘 또는 핵심 계산 문제로, 자료 표현과 입력 조건에 맞는 계산 절차를 사용한다. 명시적인 수학적 불변식·상태 정의를 바탕으로 구현하므로 단순한 명령어 조합과는...
| 분류 | 알고리즘 · 연속 최적화 |
|---|---|
| 핵심 문제 | 목적 함수의 기울기 반대 방향으로 매개변수를 반복 갱신하여 작은 값을 찾는다 |
| 방법 | 파라미터 θ를 θ-η∇f(θ)로 변경하며 학습률 η와 종료 조건을 설정한다 |
| 계산 비용 | 반복마다 기울기 비용에 좌우되고 수렴 속도는 조건수·학습률·함수 성질에 의존 |
| 적용 조건 | 미분 또는 유용한 부분기울기와 학습률 정책이 필요하다 |
| 관련 활용 | 기계학습 모델 훈련과 비선형 최적화에 활용한다 |
| 관련 이론 | 자료구조, 계산 복잡도 |
| 참고 자료 | CP-Algorithms |
경사 하강법은 목적 함수의 기울기 반대 방향으로 매개변수를 반복 갱신하여 작은 값을 찾는다 연속 최적화 분야의 대표적인 알고리즘 또는 핵심 계산 문제로, 자료 표현과 입력 조건에 맞는 계산 절차를 사용한다. 명시적인 수학적 불변식·상태 정의를 바탕으로 구현하므로 단순한 명령어 조합과는 구별된다.[1]
계산 절차는 파라미터 θ를 θ-η∇f(θ)로 변경하며 학습률 η와 종료 조건을 설정한다. 배치·확률적·미니배치 방식은 기울기를 계산하는 데이터의 범위가 다르다. 각 단계의 상태가 무엇을 의미하는지 정의하고 초기값과 경계 입력을 검사하면 결과의 정확성을 증명하거나 테스트할 수 있다.
복잡도는 반복마다 기울기 비용에 좌우되고 수렴 속도는 조건수·학습률·함수 성질에 의존 적용 전제는 미분 또는 유용한 부분기울기와 학습률 정책이 필요하다 실제 연산량·메모리 사용은 구현의 자료구조와 정수·실수 표현, 전처리 및 입력 크기에 따라 달라진다.
응용과 관련 기법을 보면 기계학습 모델 훈련과 비선형 최적화에 활용한다. 비볼록 목적 함수에서는 전역 최적해 도달을 보장하지 않는다. 같은 문제라도 최악 시간 보장, 메모리 요구 사항과 정밀도·확률적인 실패 가능성에 따라 적합한 알고리즘이 달라진다.[2]