(a) 알고리즘 흐름도: n개의 레이어 제거 과정은, 각도 거리 d가 최소화되는 레이어 ℓ*를 찾아내어 그 위치부터 n개의 레이어를 제거하는 과정을 포함합니다. 필요한 경우, 파라미터 효율적인 파인튜닝(PEFT)을 통해 모델의 손상을 치유할 수 있습니다.

(b) 레이어 제거 도식화: 레이어 제거 과정은 ℓ부터 시작하여 ℓ+n−1에 이르는 총 n개의 레이어를 모델에서 제거하는 것을 나타냅니다. 이는 모델의 구조적 단순화를 의미합니다.

(c) 각도 거리 분석: 다양한 레이어 수 n에 대해, 레이어 블록의 시작 지점 ℓ에서의 각도 거리 d를 나타냅니다. 가장 낮은 거리(보라색 곡선)에서 가장 높은 거리(노란색 곡선)까지, 각도 거리의 최소값을 추적하는 검은색 선을 보여줍니다.

(d) 가지치기 결과: Llama-2-70B 모델의 레이어 제거 비율에 따른 성능 변화를 보여줍니다. 치유를 통해 성능이 어느 정도 복원되며(진한 파란색), 제거된 레이어 비율이 증가함에 따라 질의응답 작업의 정확도에 급격한 변화가 관찰됩니다(40%-50% 가지치기시), 반면 치유된 손실은 최소 80% 가지치기까지 점진적으로 증가합니다.

각 동작 과정을 다음과 같이 나누어 설명할 수 있습니다.

1. 각도 거리 측정

첫 번째 단계는 모델의 각 레이어 사이의 "각도 거리(angular distance)"를 측정하는 것입니다. 각도 거리는 레이어 간의 유사성을 측정하는 지표로 사용되며, 이는 레이어들이 처리하는 정보의 유사성을 나타냅니다. 레이어 ℓ과 ℓ+n 사이의 각도 거리를 계산함으로써, 모델 내에서 정보 처리가 중복되는 부분을 식별할 수 있습니다. 중복이 많은 레이어는 제거해도 모델 성능에 미치는 영향이 적다고 가정할 수 있습니다.

2. 중요하지 않은 레이어 식별

각도 거리를 기반으로, n개의 연속된 레이어 중에서 제거할 때 성능 손실을 최소화할 수 있는 레이어 블록을 식별합니다. 이를 위해, 레이어 ℓ부터 시작하여 ℓ+n까지의 레이어 블록 중 각도 거리 d가 최소화되는 지점을 찾습니다. 이 최소화된 각도 거리 d는 제거할 레이어 블록을 결정하는 데 사용됩니다. 이 과정은 모델 전체에 걸쳐 반복되어, 제거 가능한 레이어 블록을 찾아냅니다.

3. 레이어 제거 및 모델 치유(healing)

식별된 레이어 블록을 모델에서 제거한 후, 제거 과정에서 발생할 수 있는 성능 손실을 "치유"하기 위해 파라미터 효율적인 파인튜닝이 수행됩니다. 이 과정은 주로 QLoRA와 같은 기법을 사용하여 최소한의 파라미터 업데이트로 최대한의 성능 복원을 목표로 합니다. "치유" 과정은 제거된 레이어의 기능을 나머지 레이어가 흡수하도록 하여, 모델의 성능을 원래 상태로 복원하거나 심지어 개선하는 것을 목표로 합니다.

4. 성능 검증

마지막 단계에서는 가지치기와 치유 과정을 거친 모델의 성능을 원래 모델과 비교하여 검증합니다. 이를 통해 가지치기 전략이 모델의 효율성을 향상시키면서도 성능을 유지하거나 개선할 수 있는지를 평가합니다. 다양한 벤치마크와 작업을 통한 성능 평가는 가지치기 전략의 유효성을 실증적으로 증명하는 데 중요합니다.

예를 들어, 100개의 레이어를 가진 가상의 LLM을 고려해 보겠습니다. 제안된 방법은 51번(ℓ*)부터 75(ℓ*+n−1)번째까지 25(n)개의 레이어가 전체 성능에 거의 영향을 미치지 않는다고 식별할 수 있습니다. 이렇게 25(n)개의 레이어들을 제거한 뒤, 모델은 75개의 레이어를 남깁니다. 그런 다음 QLoRA 기법으로 모델을 파인튜닝하며 (제거된 25개의 레이어를 보완할 수 있도록) 남은 75개의 레이어들을 조정합니다. 이러한 과정을 거쳐 가지치기 이전의 원래 모델과 유사하거나 더 나은 성능 수준을 유지하는 더 효율적인 모델을 만들 수 있습니다.

실험 결과

Llama2와 Qwen 모델군들과 Mistral / Phi 모델 등, 2.7B부터 70B에 이르는 다양한 크기의 LLM들을 대상으로 가지치기 및 치유 과정을 실험하였습니다. 실험에 사용한 모델들은 모두 32에서 80개의 원본 레이어를 가지고 있습니다. 치유 단계에서는 QLoRA를 사용하여 모델을 4비트 정밀도로 양자화한 후 Colossal Clean Crawled Corpus(C4)에서 추출한 164M 또는 328M 토큰에 대해 파인튜닝을 진행함으로써 효율적인 학습을 가능하게 했습니다. 이 모든 실험은 단일 A100 GPU에서 수행되었습니다.

성능 평가를 위해 MMLU(Massive Multitask Language Understanding)와 BoolQ라는 두 가지 벤치마크를 사용했습니다. MMLU는 일반적인 세계 지식 및 문제 해결 벤치마크로, BoolQ는 텍스트 자체로부터 답을 추론해야 하는 예/아니오 독해력 평가 벤치마크입니다.

위 그림 2의 실험 결과는 다음과 같은 주요 발견을 보여줍니다:

1. 치유에 의한 성능 개선: 레이어를 제거한 후 QLoRA를 사용한 치유 과정을 거친 모델들은, 치유 과정 없이 레이어만 제거한 경우보다 성능이 개선되었습니다. 이는 치유 과정이 가지치기로 인한 성능 저하를 어느 정도 상쇄할 수 있음을 시사합니다.

2. 가지치기 비율에 따른 성능의 강인성(robust): 실험에 포함된 모델들은 20%-55%의 가지치기 비율까지는 성능이 상당히 강인하게 유지되었습니다. 모델 가족과 크기에 따라 이 비율은 다소 변동이 있지만, 이 범위 내에서는 모델들이 여전히 유용한 성능을 보여줄 수 있음을 의미합니다.

3. 가지치기 비율이 증가함에 따른 성능 하락: 특정한 가지치기 비율을 넘어서면 모델 성능이 급격히 하락하여 임의 추측 수준으로 떨어지는 경향을 보였습니다. 이는 모델에서 제거할 수 있는 레이어의 한계를 나타내며, 과도한 가지치기가 모델의 성능을 크게 저해할 수 있음을 보입니다.