[25' ICLR] LoRA-X: Training-Free Cross-Model Adaptation

한 줄 요약

LoRA-X는 소스 모델의 LoRA 어댑터를 타겟 모델로 추가 학습 없이(training-free) 전이하는 방법으로, 두 모델 간 서브스페이스 유사도(subspace similarity)를 기반으로 전이 가능한 레이어를 선별하여 LoRA 파라미터를 재활용한다.

 

문제점

기존 LoRA의 한계

대규모 파운데이션 모델의 파라미터 효율적 미세 조정(PEFT) 방법으로 LoRA(Low-Rank Adaptation)가 널리 사용되고 있다.
LoRA는 전체 미세 조정에 준하는 성능을 소수의 추가 파라미터만으로 달성할 수 있다.
그러나 LoRA 어댑터는 특정 베이스 모델에 종속적으로 학습된다.

모델 업데이트 시 발생하는 문제

베이스 모델이 업데이트되거나 단종(deprecated)될 경우, 기존에 학습된 모든 LoRA 모듈을 새로운 모델에 맞춰 재학습해야 한다.
이 과정에서 원본 학습 데이터에 대한 접근이 필요하지만, 프라이버시나 라이선스 문제로 원본 데이터를 확보할 수 없는 경우가 빈번하다.
합성 데이터를 생성하여 대체하는 방법도 있으나, 원본 분포를 충분히 반영하지 못할 수 있으며 비실용적이다.

기존 전이 방법의 문제

기존의 LoRA 전이 방법인 Trans-LoRA나 LoRASuite 등은 프록시 데이터와 추가 학습을 필요로 한다.
이는 데이터 의존성과 연산 비용이라는 두 가지 문제를 동시에 수반한다.

 

제안 방법

LoRA-X: Cross-Model Low-Rank Adaptation

LoRA-X는 소스 모델에서 학습된 LoRA 파라미터를 타겟 모델로 학습 없이 전이하는 새로운 어댑터 구조를 제안한다.
핵심 아이디어는 크게 세 가지로 구성된다.

1. 서브스페이스 제약 어댑터 (Subspace-Constrained Adapter)

LoRA-X는 일반 LoRA와 달리, 어댑터가 사전 학습된 모델 가중치의 SVD 서브스페이스 내에서만 동작하도록 제약을 둔다.
구체적으로, LoRA-X는 특이값(singular values)만 최적화하는 특수한 LoRA 변형을 도입한다.
이로써 어댑터의 영향이 사전 학습 모델의 가중치 서브스페이스에 한정되며, 표준 LoRA처럼 서브스페이스와 널스페이스(nullspace) 모두에 영향을 미치지 않는다.
이러한 제약이 모델 간 전이 가능성의 핵심 조건이 된다.

2. 어댑터 전이 가능성 비용 (Adapter Transferability Cost, ATC)

LoRA-X는 소스 모델과 타겟 모델 간 레이어별 서브스페이스 유사도를 측정하는 스칼라 지표인 ATC를 도입한다.
ATC는 왼쪽 및 오른쪽 서브스페이스 유사도를 기반으로 산출되며, 0과 1 사이로 정규화된다.
ATC 값이 낮을수록 해당 레이어의 전이가 용이함을 의미한다.

3. 선택적 레이어 전이 (Selective Layer Transfer)

모든 레이어에 무조건 전이하는 대신, ATC가 허용 가능한 수준의 유사도를 보이는 레이어에만 어댑터를 적용한다.
이를 통해 서브스페이스 정합이 부족한 레이어에서의 성능 저하를 방지한다.

전이 과정 요약

1. 소스 모델에서 서브스페이스 제약 LoRA-X를 학습한다 (특이값만 최적화).
2. 소스와 타겟 모델 각 레이어의 SVD를 계산하여 ATC를 산출한다 (SVD는 1회만 수행 후 캐싱 가능).
3. ATC 기준으로 전이 가능한 레이어를 선별한다.
4. 선별된 레이어에 소스 LoRA 파라미터를 타겟 모델에 직접 적용한다.

 

학습 상세

LoRA-X 학습 설정

LoRA-X의 학습은 소스 모델에서 서브스페이스 제약 어댑터를 학습하는 단계에서만 수행된다.
전이 단계에서는 추가 학습이 전혀 필요하지 않다.

항목	설정
어댑터 구조	서브스페이스 제약 LoRA (특이값만 최적화)
기반 모델 (소스)	Stable Diffusion v1.5, Stable Diffusion XL
전이 대상 (타겟)	RealVis-v3.0, SD Efficient-v1.0, RealVisXL-v3.0, SSD-1B
전이 방식	Training-free (SVD 기반 ATC 계산 + 선택적 레이어 매핑)
SVD 계산	1회 수행 후 캐싱
ATC 정규화 범위	0 ~ 1
평가 메트릭	DINOv2 (유사도), HPSv2 (품질/정합성), LPIPS (다양성)

모델 패밀리 구분

패밀리	포함 모델	패밀리 내 ATC
Family 1 (SD 1.5 계열)	SD-v1.5, SD Efficient-v1.0, RealVis-v3.0	< 0.5
Family 2 (SDXL 계열)	SDXL, SSD-1B, RealVisXL-v3.0	< 0.5
교차 패밀리	Family 1 ↔ Family 2	> 0.5 (전이 어려움)

 

실험 결과

정량적 평가: BlueFire 데이터셋

LoRA-X의 학습 버전(Trained)과 전이 버전(Transferred)을 비교한 결과이다.

타겟 모델	DINOv2 (Trained)	DINOv2 (Transferred)	HPSv2 변화	LPIPS 변화
RealVis-v3.0 (SD 1.5→)	0.882	유사	+0.3%	+2.9%
SD Efficient-v1.0 (SD 1.5→)	0.851	유사	+3.6%	+0.7%
RealVisXL-v3.0 (SDXL→)	-	-	유사~소폭 향상	-6.1%
SSD-1B (SDXL→)	-	-	유사~소폭 향상	-8.4%

주요 관찰

• DINOv2 점수가 Trained 버전과 Transferred 버전 모두 높게 나타나, 생성 이미지의 높은 충실도와 상관성을 확인했다.
• HPSv2 점수는 전이된 LoRA-X가 학습 버전과 유사하거나 약간 높은 수준을 달성했다.
• LPIPS 다양성은 대부분 유지되었으나, SDXL 계열 전이 시 소폭 감소하는 경향이 관찰되었다.
• 전반적으로 전이 버전이 학습 버전에 준하거나 이를 상회하는 성능을 보였다.

비교 대상

LoRA-X는 Direct Copy(단순 파라미터 복사), No LoRA(어댑터 미적용) 대비 현저히 우수한 성능을 보였다.
또한 기존 데이터 의존적 방법인 Trans-LoRA와 달리 데이터와 추가 학습 없이 유사한 수준의 성능을 달성했다.

 

한계점 및 개인 의견

한계점

1. LoRA 어댑터에만 적용 가능하다.
LoRA-X는 서브스페이스 제약 LoRA라는 특수한 어댑터 구조를 요구한다.
일반적인 full-rank delta나 표준 LoRA에는 직접 적용할 수 없으며, 처음부터 LoRA-X 방식으로 학습해야 한다는 제약이 존재한다.

2. 동일 아키텍처 패밀리 내에서만 효과적이다.
ATC 분석 결과, 같은 패밀리 내(SD 1.5 계열끼리 또는 SDXL 계열끼리)에서는 ATC가 0.5 미만으로 전이가 잘 이루어지지만, 교차 패밀리(SD 1.5 → SDXL 등) 간에는 ATC가 높아 전이 성능이 크게 저하된다.
이는 다른 스케일이나 아키텍처 간 전이(예: 2B → 7B)가 어렵다는 근본적 제약이다.

3. 텍스트-이미지 생성 도메인에만 검증되었다.
Stable Diffusion 계열 모델에서만 실험이 수행되었으며, LLM 등 다른 도메인에 대한 일반화 가능성은 충분히 검증되지 않았다.
TinyLlama에 대한 언급이 있으나 본격적인 대규모 언어 모델 실험은 부재하다.

4. 특이값만 최적화하는 제약으로 인한 표현력 감소.
표준 LoRA가 서브스페이스와 널스페이스 모두를 활용할 수 있는 반면, LoRA-X는 서브스페이스 내에서만 동작한다.
이는 전이 가능성을 높이는 대신 어댑터의 유연성과 표현력을 제한한다.

Delta Transfer와의 비교 (개인 의견)

LoRA-X의 가장 직접적인 경쟁 방법은 Delta Transfer이다.
Delta Transfer는 full-rank delta를 포함한 다양한 형태의 모델 수정에 적용 가능하며, 서로 다른 모델 스케일 간 전이(예: 2B → 7B)도 지원한다.
반면 LoRA-X는 LoRA 어댑터에만 한정되며, 동일 아키텍처 패밀리 내에서만 안정적인 전이가 가능하다.

이는 LoRA-X의 실용적 적용 범위를 상당히 제한하는 요소이다.
모델 업그레이드가 단순 가중치 갱신이 아닌 아키텍처 변경을 수반하는 경우, LoRA-X는 적용이 불가능하다.
다만 LoRA-X의 완전한 training-free 특성과 데이터 불필요라는 장점은 동일 패밀리 내 모델 마이그레이션 시나리오에서 실질적인 가치를 지닌다.

향후 서브스페이스 정렬 기법을 통해 교차 아키텍처 전이를 지원하거나, 표준 LoRA에도 적용 가능한 확장이 이루어진다면 더 넓은 활용 가능성이 기대된다.

 

논문 정보 및 리소스

항목	내용
제목	LoRA-X: Bridging Foundation Models with Training-Free Cross-Model Adaptation
저자	Farzad Farhadzadeh, Debasmit Das, Shubhankar Borse, Fatih Porikli
소속	Qualcomm AI Research
학회	ICLR 2025 (Conference Paper)
arXiv	2501.16559
OpenReview	6cQ6cBqzV3
공식 Proceedings	ICLR 2025
슬라이드	ICLR 2025 Poster