Giới thiệu về FLUX

• FLUXlà một họ mô hình text2img mới được phát hành vào tháng 8 năm 2024. Nhà phát triển, Black Forest Labs, được thành lập bởi các cựu thành viên của Stability AI , được biết đến với Stable Diffusion . Họ là một nhóm chuyên gia có kiến ​​thức chuyên sâu trong lĩnh vực hình ảnh tạo sinh. Điều làm nên sự nổi tiếng của FLUX là chất lượng của các hình ảnh được tạo ra. Theo kết quả đánh giá chuẩn do chính họ công bố, nó vượt trội hơn Midjourney-V6.0 và SD3-Ultra , và phản ứng của cộng đồng cực kỳ tích cực. [Liên kết liên quan]
• Bài đăng này tóm tắt cách tạo hình ảnh tạo hình chất lượng cao trong môi trường cục bộ, đặc biệt là với kích thước VRAM dưới 10GB, bằng cách sử dụng mô hình nguồn mở FLUX.1 [dev].

Yêu cầu

• Máy: Windows 11+ GPU có VRAM 6GB MIN
• Trình quản lý gói:Stability Matrix
• Bưu kiện:Stable Diffusion WebUI Forge
• Mô hình: FLUX.1 [dev]( Phiên bản bnb-nf4-v2 )
• VAE:ae.safetensors
• Bộ mã hóa văn bản: ViT-L-14-TEXT-detail-improved-hiT-GmP-TE-only-HF.safetensors,t5xxl_fp16.safetensors
• Nâng cấp:4xFFHQDAT.pth

Cài đặt Stability Matrix

• Tải xuống và cài đặt tệp phù hợp với hệ điều hành của bạn từ liên kết này .

Cài đặt Stable Diffusion WebUI Forge

• Chạy Stability Matrixvà cài đặt Stable Diffusion WebUI Forgetheo các bước sau:

Launch Stability Matrix
→ [Packages]
→ [Add Package]
→ [Stable Diffusion WebUI Forge]
→ [Install]

Cài đặt mô hình FLUX.1 [dev]

• FLUX.1 [dev]là một mô hình mã nguồn mở miễn phí cho mục đích phi thương mại, với các kết quả được tạo ra có sẵn cho mục đích thương mại. Phiên bản NF4 được khuyến nghị, được tối ưu hóa cho việc sử dụng bộ nhớ và tốc độ thực thi, có thể sử dụng với tối thiểu 6GB VRAM .
• Tải xuống tệp flux1-dev-bnb-nf4-v2.safetensors từ liên kết này và lưu vào thư mục Data/Models/StableDiffusion trong thư mục cài đặt Stability Matrix của bạn .

Cài đặt VAE

• Tải xuống tệp ae.safetensors từ liên kết này và lưu vào thư mục Data/Models/VAE trong thư mục cài đặt Stability Matrix của bạn .

Cài đặt Text Encoder

• Tải xuống tệp ViT-L-14-TEXT-detail-improved-hiT-GmP-TE-only-HF.safetensors từ liên kết này và lưu vào thư mục Data/Models/CLIP trong thư mục cài đặt Stability Matrix của bạn .

Cài đặt Upscaler

• Tải xuống tệp 4xFFHQDAT.pth từ liên kết này và lưu vào thư mục Data/Models/ESRGAN trong thư mục cài đặt Stability Matrix của bạn .

Chạy Stable Diffusion Diffusion WebUI Forge

• Mọi khâu chuẩn bị để tạo ảnh đã hoàn tất. Khởi chạy Stable Diffusion WebUI Forgetheo các bước sau:

Launch Stability Matrix
→ [Packages]
→ [Stable Diffusion WebUI Forge]
→ [Launch]

• Khi giao diện web khởi chạy trong trình duyệt của bạn, hãy áp dụng các cài đặt sau để tạo hình ảnh tối ưu:

Stable Diffusion WebUI Forge web interface
→ UI: [flux]
→ Checkpoint: [flux1-dev-bnb-nf4-v2.safetensors]
→ VAE / Text Encoder: [ae.safetensors], [ViT-L-14-TEXT-detail-improved-hiT-GmP-TE-only-HF.safetensor], [t5xxl_fp16.safetensors]
→ Diffusion in Low Bits: [Automatic (fp16 LoRA)]
→ Sampling method: [[Forge] Flux Realistic]
→ Schedule type: [Beta]
→ Sampling steps: 20
→ Hires. fix: [Check]
→ Upscaler: [4xFFHQDAT]
→ Denosising strength: 0.35
→ Width: 512
→ Height: 512
→ Distilled CFG Scale: 2
→ CFG Scale: 1
→ PerturbedAttentionGuidance Integrated: Check [Enabled] → Scale: 3

• Bây giờ, hãy nhập lời nhắc ví dụ sau và nhấp vào nút Tạo để tạo hình ảnh:

nukacola on the table, "nukacola", fallout, closed shot, nuclear radioactive color, realistic

Ấn tượng khi sử dụng FLUX

• Với các thiết lập trên, tôi đã thử nghiệm hàng chục hình ảnh bằng RTX 3080 10GB. Tôi đã sử dụng tới ba LoRA và mất khoảng 1 phút 45 giây cho một hình ảnh có độ phân giải 512x768. Chất lượng đầu ra ở độ phân giải 512x512 hoặc 512x768 là tuyệt vời, gần như không thể phân biệt được với ảnh thật. Tuy nhiên, tiềm năng thực sự của FLUX được giải phóng ở độ phân giải 768x768 trở lên. Nó thể hiện một mức độ chi tiết khác, nhưng ở độ phân giải 768x1152, mất khoảng một giờ để tạo ra một hình ảnh, khiến quá trình này khá chậm và đòi hỏi sự kiên nhẫn đáng kể.

Chuyển đổi hình ảnh đầu ra thành tài nguyên 3D

• Chuyển đổi hình ảnh 2D do FLUX tạo ra thành 3D có thể hữu ích cho nhiều mục đích khác nhau như phát triển trò chơi và in 3D. Trong khi ngành công nghiệp này vẫn đang trong giai đoạn đầu, công ty Tripo của Trung Quốc hiện đang dẫn đầu lĩnh vực này. Sử dụng mô hình trả phí của họ Tripo AI v2.0, bạn có thể dễ dàng chuyển đổi hình ảnh 2D được tạo bằng FLUX thành tài nguyên 3D. Tài nguyên 3D được tạo ra có thể được lưu dưới dạng tệp GLB , sau đó có thể xem bằng Trình xem 3D trên Windows 11. [ Liên kết trang web]

Liên kết tham khảo

• FLUX v1
• Hướng dẫn bắt đầu nhanh với Flux.1
• Cách chạy Flux AI với VRAM thấp
• Hướng dẫn sử dụng Lazy FLUX.1d của Makina69