로라 학습으로 나만의 캐릭터 모델 만들기

캐릭터 로라를 만들기 위해 학습을 시켜보았다.

 

먼저 kohya_ss를 설치하고 실행한다.

https://github.com/bmaltais/kohya_ss

GitHub - bmaltais/kohya_ss

 

다운

git clone https://github.com/bmaltais/kohya_ss.git

 

설치

./setup.bat

실행

gui.bat --inbrowser

 

브라우저로 kohya_ss가 실행된다.

 

로라를 만드는 방법은 3단계를 거친다.

 

1. 학습 이미지 준비 및 태깅 [Utilities - Basic Captioning]
2. 트래이닝 데이터셋 생성 [LoRA - Training - Dataset Preparation]
3. 파라미터 설정 [LoRA - Training - Parameters]

4. 기본 모델 선택 [LoRA - Traning - Source Model]

 

 

1. 학습 이미지 준비 및 태깅

 

학습 이미지를 10장 이상 train_images 폴더에 넣어준다.

 

kohya_ss 화면에서 Utilities - BLIP Captioning 탭으로 이동 후

image folder to caption으로 해당 폴더를 지정해준다.

 

오른쪽 아래 Caption images  버튼을 눌러준다.

 

train_images 폴더 안에 이미지당 텍스트 파일(프롬프트들)하나가 생성된다.

 

2. 트래이닝 데이터셋 생성

 

LoRA - Training - Dataset Preparation 탭으로 이동

 

Instance prompt에 로라 이름을

Class prompt에 로라 특징을 입력한다.

 

Training images에 train_images 폴더를 선택하고

Destination Training directory에 Dataset 폴더를 만들어서 선택한다.

 

Repeats는 이미지 하나당 몇번의 반복 학습을 할지에 대한 값

 

Prepare training data 버튼을 눌러 데이터셋 파일들을 생성하고

Copy info to Folders Tab 버튼을 눌러 해당 정보를 Folders 탭에 자동으로 기입해주게 한다.

 

 

폴더 탭으로 이동하면 폴더 경로들이 입려되어 있는 것을 확인할 수 있다.

Model output name에 로라 파일명을 입력한다.

 

3. 파라미터 설정

 

LoRA - Training - Parameters 탭으로 이동 후

Presets 프리셋에서 sd15-EDG-LoraOptiSettings를 선택한다.

 

Train batch size는 한번에 몇장의 이미지를 동시에 학습시킬지에 대한 값으로 그래픽카드의 VRAM이 높을 수록 값을 올릴수 있고 학습 시간이 단축된다.

 

Epoch는 로라 파일이 생성되는 숫자로 2 이상이면 학습 할때마다 파일이 생성된다.

여러개 생성해서 비교 선택할 수 있다.

 

나마저 파라미터들은 기본 값을 그대로 사용

 

4. 기본 모델 선택

 

LoRA - Training - Source model 탭에서

Model Quick Pick는 custom 선택

Pretrained model name or path에서 폴더 버튼 혹은 문서 버튼 클릭하여 학습에 사용할 모델 선택

 

 

학습에 사용하는 소스 모델은 주로 

그림은 animefull-final-pruned https://huggingface.co/tlsdlftn79/Anything-v3.0/tree/main

실사는 칠아웃 https://civitai.com/models/6424/chilloutmix

 

학습 시작

 

Start traning 버튼 클릭

 

일발 로라 사용하듯이 로라 폴더에 넣고 WebUI에서 사용한다.

 

 

명령 프롬프트 콘솔에서 학습 진행사항 확인

 

|| 생성한 로라 적용

 

좌: 학습에 사용된 이미지

우: 로라를 이용하여 생성한 이미지 

좌: 학습 전 원본 이미지, 우: 로라 적용 이미지

 

얼굴이 요염해졌네..

 

Dataset Preparation - traning images - repeats 값(100)도 바꿔보고

 

Epoch를 4 주고 로라를 4개 만들어 

xyz plot를 이용하여 결과물 확인,

잘 만들어진 로라만 선택하고 나머지는 삭제

 

Stable Diffusion WebUI 이미지 설정 값 비교 - X/Y/Z plot, xyz plot

 

Stable Diffusion WebUI Lora 로라 검색-적용