EddieLEEYH/peft-hands-on

🧩 PEFT Hands-on

Parameter-Efficient Fine-Tuning (PEFT) 기법들을 초보자도 쉽게 이해하고 실습할 수 있는 대화형 튜토리얼입니다.

✨ 지원하는 PEFT 방법

• —LoRA - Low-Rank Adaptation (0.8% 파라미터)
• —DoRA - Weight-Decomposed LoRA (0.8% 파라미터)
• —AdaLoRA - Adaptive LoRA (0.8% 파라미터)
• —QLoRA - 4-bit Quantized LoRA (12.5% 파라미터)
• —IA³ - Infused Adapter (0.04% 파라미터)
• —Prefix Tuning - Virtual Token Prefix (0.1% 파라미터)
• —Prompt Tuning - Virtual Token Prompt (0.05% 파라미터)

🚀 사용 방법

1. 1.좌측 사이드바에서 원하는 PEFT 방법 선택
2. 2.하이퍼파라미터 설정 (기본값 권장)
3. 3.학습 실행 버튼 클릭
4. 4.실시간 결과 확인 및 시각화

🌟 특징

• —🎨 초등학생도 이해할 수 있는 상세한 설명
• —📊 수학적 원리를 시각화로 직관적 이해
• —🔧 실제 구현 가이드 제공
• —🌏 한글 완벽 지원 (그래프, 설명, UI)
• —💻 실습 가능한 학습 환경 제공

🔗 링크

• —GitHub: LEEYH205/peft_streamlit
• —Streamlit Cloud: PEFT-Hands-on-lyh205

📚 프로젝트 구조

peft-streamlit/
├── app.py                 # 메인 Streamlit 앱
├── pages/                 # PEFT 방법별 페이지
│   ├── 1_LoRA.py         # LoRA 실습
│   ├── 2_DoRA.py         # DoRA 실습
│   ├── 3_AdaLoRA.py      # AdaLoRA 실습
│   ├── 4_QLoRA.py        # QLoRA 실습
│   ├── 5_IA3.py          # IA³ 실습
│   ├── 6_Prefix_P_Tuning.py  # Prefix/Prompt Tuning 실습
│   └── 7_Evaluate_and_Compare.py  # 평가 및 비교
├── peft_utils/            # PEFT 유틸리티
│   ├── data.py            # 데이터 로딩
│   ├── model.py           # 모델 설정
│   ├── train.py           # 학습 로직
│   ├── eval.py            # 평가 로직
│   └── viz.py             # 시각화
└── data/                  # 데이터 파일
    └── tiny_instruct.jsonl

🚀 빠른 시작

# 저장소 클론
git clone https://github.com/LEEYH205/peft_streamlit.git
cd peft-streamlit

# 의존성 설치
pip install -r requirements.txt

# Streamlit 앱 실행
streamlit run app.py

📖 학습 가이드

초보자를 위한 단계별 학습

1. 1.기본 개념 이해: LoRA부터 시작
2. 2.실습 경험: 실제 학습 실행
3. 3.고급 기법: DoRA, AdaLoRA 등
4. 4.성능 비교: 다양한 방법 비교

각 PEFT 방법별 특징

• —LoRA: 가장 기본적이고 안정적인 방법
• —DoRA: LoRA의 가중치 분해 버전
• —AdaLoRA: 적응적 LoRA
• —QLoRA: 4-bit 양자화로 메모리 효율적
• —IA³: 가장 적은 파라미터 사용
• —Prefix/Prompt Tuning: 가상 토큰 기반

🤝 기여하기

프로젝트에 기여하고 싶으시다면:

1. 1.Fork 저장소
2. 2.Feature branch 생성
3. 3.변경사항 커밋
4. 4.Pull Request 생성

📄 라이선스

이 프로젝트는 MIT License 하에 배포됩니다.

⭐ 이 프로젝트가 도움이 되었다면 GitHub에 스타를 눌러주세요!

💡 문제가 발생하거나 개선사항이 있다면 GitHub Issues에 등록해주세요!