병렬 알고리즘
병렬 알고리즘은 여러 처리 요소가 작업을 분담하여 하나의 계산을 수행하도록 설계된 알고리즘이다. 알고리즘의 병렬 계산 모델 분야에서 다루며, 문제를 어떤 하위 단계로 표현하고 어떤 계산을 생략하거나 공유할지를 결정하는 방법이다. 이 기법을 적용할 때에는 결과의 정확성뿐 아니라 종료 조건...
| 분류 | 알고리즘 · 병렬 계산 모델 |
|---|---|
| 목적 | 여러 처리 요소가 작업을 분담하여 하나의 계산을 수행하도록 설계된 알고리즘 |
| 핵심 과정 | 독립적인 부분 계산을 동시에 실행하고 동기화·통신으로 결과를 합친다 |
| 시간·연산 비용 | 작업량과 스팬, 통신·동기화 비용에 의존하며 이상적 가속은 프로세서 수에 제한된다 |
| 적용 전제 | 데이터 경쟁을 통제하고 동기화·작업 배분을 올바르게 설계해야 한다 |
| 관련 분야 | 알고리즘 설계, 계산 복잡도 |
| 참고 자료 | MIT 알고리즘 강의 |
병렬 알고리즘은 여러 처리 요소가 작업을 분담하여 하나의 계산을 수행하도록 설계된 알고리즘이다. 알고리즘의 병렬 계산 모델 분야에서 다루며, 문제를 어떤 하위 단계로 표현하고 어떤 계산을 생략하거나 공유할지를 결정하는 방법이다. 이 기법을 적용할 때에는 결과의 정확성뿐 아니라 종료 조건, 필요한 상태의 표현과 입력 조건을 함께 정의한다.[1]
핵심 처리 과정은 다음과 같다. 독립적인 부분 계산을 동시에 실행하고 동기화·통신으로 결과를 합친다. 작업량(work)과 임계 경로 길이(span)를 분석하여 프로세서 수 증가에 따른 가속 한계를 평가한다. 설계 시에는 각 단계에서 보존되어야 할 불변식이나 조건을 정의하고, 결과를 반환하기까지 어떤 상태가 수정되는지를 추적한다.
계산 자원은 문제의 크기와 구현 방식에 좌우된다. 작업량과 스팬, 통신·동기화 비용에 의존하며 이상적 가속은 프로세서 수에 제한된다. 적용 조건은 데이터 경쟁을 통제하고 동기화·작업 배분을 올바르게 설계해야 한다라는 점이다. 이 조건이 성립하는지를 먼저 확인해야 동일한 절차를 다른 입력에도 일관되게 사용할 수 있다.
병렬 정렬, 접두사 합, 행렬 계산, GPU 연산에 활용한다. 계산량 감소와 병렬화로 인한 실제 지연 감소는 서로 다른 평가 기준이다. 실제 구현에서는 상태 표현, 자료구조 선택, 재귀 호출 또는 반복 처리, 메모리 접근과 경계 입력을 함께 고려한다. 이론적 계산 모델과 구체적인 프로그램의 시간·공간 비용은 입력 분포와 실행 환경에 따라 달라질 수 있다.[2]