Прорыв или нет? Разбираем, кто есть кто в генеративных моделях

Бы­ло вре­мя, ког­да я пи­сал про модель Stable Diffusion XL (SDXL) и ее про­изводные. SDXL ста­ла про­рывом и дол­го удер­живала пер­венс­тво. Откро­вен­но говоря, дело вов­се не в удач­ной архи­тек­туре или уди­витель­но хорошей базовой модели. Наобо­рот, поль­зовать­ся SDXL «из короб­ки» было прак­тичес­ки невоз­можно.

Но пос­коль­ку SDXL дол­го оста­валась единс­твен­ной моделью, которую мож­но было не толь­ко запус­тить, но и обу­чить на обыч­ной домаш­ней виде­окар­те, сооб­щес­тво сос­редото­чилось поч­ти исклю­читель­но на этой архи­тек­туре. В резуль­тате появи­лось нес­коль­ко веток глу­боко­го обу­чения, тысячи обу­чен­ных моделей и десят­ки тысяч ремик­сов. Они задали нас­толь­ко высокую план­ку, что новым архи­тек­турам было слож­но кон­куриро­вать с луч­шими образца­ми.

А потом появи­лась FLUX.1 dev. Недос­тижимая для SDXL точ­ность сле­дова­ния зап­росам, прак­тичес­ки иде­аль­ное отоб­ражение тек­ста и более качес­твен­ная переда­ча вза­имо­дей­ствий — нап­ример, «рука, сжи­мающая меч» или «луч­ник, натяги­вающий тетиву» (в SDXL это всег­да лотерея) — зас­тавили поверить: вот он, про­рыв!

FLUX.1 dev

Прав­да, доволь­но быс­тро пер­вые вос­торги сме­нились осто­рож­ностью, а затем и разоча­рова­нием. Flux ста­ла пер­вой дис­тилли­рован­ной моделью с отно­ситель­но низ­кой вари­атив­ностью резуль­татов при раз­ных сидах, что огра­ничи­вало ее кре­атив­ность. К тому же модель была тяжелой и мед­ленно работа­ла на домаш­них виде­окар­тах. Не добав­ляли энту­зиаз­ма и харак­терные пос­ледс­твия дис­тилля­ции: зна­мени­тый Flux chin — под­бородок с ямоч­кой, засилье борода­тых муж­чин, мас­лянис­тая кожа, неиз­менно сту­дий­ное осве­щение и «плас­тиковое» качес­тво кар­тинок.

Нес­мотря на все это, доволь­но дол­го казалось, что недос­татки пер­вой Flux мож­но испра­вить: появ­лялись модели LoRA, саму модель уда­валось слег­ка «под­винуть»... Одна­ко боль­ших успе­хов сооб­щес­тво не добилось. Дис­тилли­рован­ная модель ока­залась хруп­кой при обу­чении и бук­валь­но кол­лапси­рова­ла при попыт­ках более‑менее серь­езных модифи­каций.

По­том сно­ва уда­лось нем­ного прод­винуть­ся, при­чем сра­зу по двум нап­равле­ниям.

Квантизация Nunchaku

Во‑пер­вых, коман­да Nunchaku решила проб­лему со ско­ростью на домаш­них виде­окар­тах — точ­нее, с объ­емом виде­опа­мяти, необ­ходимым для работы. Она выпус­тила 4-бит­ные кван­ты сна­чала для моделей Flux, а затем и для дру­гих архи­тек­тур.

Са­мые популяр­ные ремик­сы тоже получи­ли такие кван­ты от сто­рон­них раз­работ­чиков — нап­ример, кван­ты spooknik. Про Nunchaku я уже пи­сал, поэто­му пов­торять­ся не буду. В двух сло­вах: это нас­тоящая магия, которая поз­воля­ет ужать 16-бит­ную модель до 4 бит прак­тичес­ки без потери качес­тва и зна­читель­но уско­рить ее работу, осо­бен­но на виде­окар­тах поколе­ния Blackwell с под­дер­жкой 4-бит­ных опе­раций с пла­вающей точ­кой.

Об­ратная сто­рона — слож­ность самой кван­тизации. Это твор­ческий про­цесс, тре­бующий серь­езно­го железа. Забегая впе­ред, ска­жу, что слож­ность уда­лось сни­зить в аль­тер­натив­ном фор­мате NVFP4. Он тоже под­держи­вает 4-бит­ные вычис­ления, но качес­тво все‑таки ниже, чем у Nunchaku.

FLUX.1 Krea

Итак, со ско­ростью разоб­рались. А что с «син­тетичес­кой кожей» и «под­бород­ком с ямоч­кой»? А здесь у нас — во‑вто­рых.

Во‑вто­рых, FLUX.1 Krea [dev], для которой, что осо­бен­но цен­но, сра­зу появил­ся квант от Nunchaku. Силь­ные сто­роны Krea — раз­нооб­разные и кре­атив­ные генера­ции, а так­же куда более высокая фоторе­алис­тичность по срав­нению с исходной FLUX.1. Сла­бая сто­рона — все те же цен­зурные огра­ниче­ния.

Krea 1 — модель глу­боко­го обу­чения на архи­тек­туре FLUX.1. Раз­работ­чики Flux из Black Forest Labs дали коман­де Krea сырую вер­сию flux-dev-raw — пре­добу­чен­ную модель без финаль­ной полиров­ки и набив­шего оско­мину син­тетичес­кого глян­ца.

Раз­работ­чики Krea дообу­чили модель в два эта­па: сна­чала про­вели SFT на собс­твен­ной под­борке качес­твен­ных фотог­рафий и син­тетичес­ких дан­ных, а затем — RLHF. Резуль­тат дис­тилли­рова­ли и получи­ли guidance-distilled-вер­сию Krea 1 — фак­тичес­ки пря­мую замену обыч­ной Flux. В отли­чие от моделей сооб­щес­тва, обу­чение и дис­тилля­цию про­води­ли на при­ват­ной базовой модели, которую спе­циаль­но для этой работы выдали в Black Forest Labs.

Chroma

А вот у сооб­щес­тва не было при­ват­ной базовой модели, поэто­му при­ходи­лось извра­щать­ся. Единс­твен­ной моделью глу­боко­го обу­чения на базе пер­вой Flux (увы, не Krea) ста­ла Chroma. Раз­работ­чик Lodestones мно­го месяцев обу­чал ее на клас­тере GPU, взяв за осно­ву FLUX.1 [schnell] из‑за лицен­зии.