Trene en Flux-LoRA for blogg-helbilder: tre tilnærminger som feilet først

Hvert blogginnlegg på dette nettstedet trenger et helbilde, og en stund var hvert helbilde en liten krangel med en diffusjonsmodell. Oppdraget høres trivielt ut: én gjenkjennelig person, nettstedets forfatter, i en ren redaksjonell scene som matcher artikkelens stemning, 16:9, hundrevis av ganger, i et gjenkjennelig konsistent uttrykk. Det tok tre mislykkede tilnærminger før oppdraget faktisk ble innfridd, og hver feil lærte noe konkret om hvor bildegenerering bryter sammen.

Dette er en byggelogg, ikke en veiledning. Poenget er ikke “bruk en LoRA”; det er hvorfor de åpenbart billigere alternativene kollapser nettopp ved kravet som betyr mest for en redaksjonell blogg: samme ansikt, innlegg etter innlegg.

#Konsistente AI-helbilder: TL;DR i 4 punkter

• En grunnleggende tekst-til-bilde-modell gir deg en kompetent fremmed som endrer ansikt for hver rendering. Greit for ett bilde, ubrukelig for en konsistent forfatter over en serie.
• En ansiktsreferanse fra ett enkelt foto (bilde-til-bilde) beholder likheten, men drifter under nytt lys og nye vinkler, fordi den interpolerer fra ett eksempel.
• En Flux-LoRA trent på seks varierte bilder generaliserer identiteten og rendrer den inn i enhver scene fra et triggerord. Det var det som til slutt holdt.
• Den større lærdommen handler ikke om identitet i det hele tatt: helbilder må formidle stemning, ikke bokstavelig illustrere artikkelen. I det øyeblikket en prompt ber om en laptop-skjerm, produserer modellen uhyggelig pseudotekst. Slutt å spørre.

#Hva er en LoRA og et triggerord

Noen få begreper bærer hele historien.

• Diffusjonsmodell - klassen av bildegeneratorer (Flux, Imagen, Stable Diffusion) som starter fra støy og avstøyer mot et bilde som matcher prompten.
• Tekst-til-bilde - generering fra en prompt alene, uten inngangsbilde. Maksimal frihet, null identitetskontroll.
• Bilde-til-bilde - generering betinget av et inngangsbilde, brukt her for å bære et ansikt fra et referansefoto inn i en ny scene.
• LoRA (low-rank adaptation) - et lite trent tillegg til en grunnmodell som lærer den ett konsept (her et bestemt ansikt) uten å trene opp hele modellen på nytt. Kalles opp med et triggerord.
• Triggerord - et sjeldent token (vårt er MRZSZ) plassert i starten av prompten for å aktivere identiteten LoRA-en har lært.
• Bildeforhold - helbilde-slotten er 16:9, så hvert bilde genereres i det forholdet i stedet for å beskjæres fra en firkant.

#Hvordan LoRA og lavrangstilpasning fungerer

Metoden kommer fra artikkelen LoRA: Low-Rank Adaptation of Large Language Models fra 2021, skrevet av Edward J. Hu og medforfattere (arXiv 2106.09685). Den fryser de forhåndstrente vektene i grunnmodellen og trener bare små lavrangsmatriser som legges ved siden av dem. Artikkelen målte dette på språkmodeller: sammenlignet med full finjustering av GPT-3 175B med Adam reduserte LoRA antallet trenbare parametere med opptil 10 000 ganger og GPU-minnebruken med omtrent tre ganger, uten ekstra forsinkelse ved inferens.

Den samme ideen gjelder for bildemodeller. FLUX.1 [dev], grunnmodellen under denne bloggens LoRA, er en rectified flow-transformer med 12 milliarder parametere, ifølge modellsiden på Replicate. En ansikts-LoRA lar disse vektene være urørt og legger til et lite eget sett, som lastes oppå grunnmodellen når et bilde genereres. Derfor kan én grunnmodell betjene mange LoRA-er, og derfor får en treningskjøring plass i én enkelt GPU-økt. Det setter også taket som beskrives senere i denne artikkelen: en LoRA legger et konsept til det grunnmodellen allerede kan tegne. Seks portretter lærer modellen et ansikt, men ikke lesbar tekst på en skjerm.

#Hvorfor tekst-til-bilde ikke holder samme ansikt

Det første instinktet er det billigste: beskriv scenen, la en tekst-til-bilde-modell rendre den. Google Imagen og Flux-grunnmodellen gjør begge dette godt på nivå med ett enkelt bilde. En mann ved et skrivebord i varmt lys, grunn dybdeskarphet, ser profesjonelt og rent ut.

Det feiler i det øyeblikket du genererer det andre. Ansiktet er annerledes. Ikke stilistisk, men strukturelt: en annen person. Over en blogg der samme forfatter skal forankre den visuelle identiteten fra innlegg til innlegg, er et galleri av kompetente fremmede verre enn ingen personer i det hele tatt, fordi inkonsekvensen leses som slurv. Tekst-til-bilde har ingen mekanisme for å holde en identitet den aldri ble gitt. Denne tilnærmingen er fortsatt nyttig, men bare for helbilder som ikke trenger noen person i det hele tatt: et abstrakt stilleben, et teknisk makrobilde. For dem er et tekst-til-bilde-kall det rette verktøyet, og mer trengs ikke.

Kravet som drepte den, var aldri “et godt bilde”. Det var “samme person, to hundre ganger”.

#Hvorfor en ansiktsreferanse drifter i bilde-til-bilde

Det åpenbare neste steget er bilde-til-bilde med et referansefoto. Moderne multimodale bildemodeller (Geminis bildemodus blant dem) tar et foto av motivet og en scene-prompt, og genererer den nye scenen mens de prøver å bevare ansiktet. Dette er en reell forbedring: likheten er stort sett der.

Den drifter. Med én referanseramme interpolerer modellen fra ett enkelt eksempel, så når prompten skyver lyset, vinkelen eller avstanden bort fra den rammen, glir ansiktet stille. Varmt sidelys omformer kjeven subtilt; en trekvartvinkel mykner trekk referansen aldri viste. Hvert enkelt bilde ser fint ut. Side om side over en serie er ikke personen helt samme person, og den uhyggelige nesten-bommen distraherer mer enn en ærlig forskjell ville. Du ender opp med å kjempe mot referansebildet ved hver generering, justere styrkeverdier for å bytte likhet mot scenefrihet, og aldri helt vinne noen av delene.

Lærdommen: ett eksempel bevarer en likhet; det generaliserer ikke en identitet.

#Hvorfor Flux lager uleselig tekst på skjermer

Å trene en dedikert LoRA løste identitetsproblemet rent. Modellen, mariusz-face-lora på Replicate, ble trent 2026-05-24 på seks ekte bilder valgt for variasjon i vinkel, lys og uttrykk med rene bakgrunner, og kalt opp med triggerordet MRZSZ i starten av hver prompt. Seks varierte bilder generaliserer ansiktet langt bedre enn et større, monotont sett, fordi det er variasjonen som lærer modellen identiteten, ikke ett rom.

Med identiteten løst dukket den tredje feilen opp, og den hadde ingenting med ansikter å gjøre. De tidlige promptene prøvde å illustrere hver artikkel bokstavelig: forfatteren ved en laptop som viser et sikkerhetsdashbord, en skjerm full av kode, et diagram på en skjerm. Flux rendret personen perfekt og skjermen som en hallusinasjon. Diffusjonsmodeller kan ikke produsere sammenhengende skjerminnhold; det som kommer ut er glyfformet pseudotekst og diagrammer med umulig geometri, og øyet fanger det øyeblikkelig. Ingen prompt-engineering fikser dette, fordi modellen ikke har noe konsept om lesbar UI; den vet bare hvordan skjermer ser ut som tekstur.

Så instinktet om bokstavelig illustrasjon var den tredje tingen å gi opp.

#Slik får du samme ansikt i alle AI-bilder

Den fungerende formelen har to halvdeler. Identiteten kommer fra LoRA-en: triggerord først, 16:9, én utgang per kall, intet referansebilde å håndtere. Scenene bygges på stemning, ikke bokstavelige nøkkelord. En sikkerhetsartikkel får ikke et sikkerhetsdashbord; den får et rolig, analytisk skrivebordsportrett i varmt, fokusert lys. En ytelsesartikkel får en annen atmosfære, ikke en Lighthouse-score på en skjerm. Rekvisittene velges etter hva modellen kan rendre pålitelig: en lukket laptop, en notatbok, en kaffekopp, en penn. Åpne skjermer, telefoner som viser apper, alt med tekst på en overflate holdes utenfor bildet.

Dette gjorde også pipelinen programmatisk. Artikler grupperes i klynger (ai, security, performance, headless, plugins, seo, tutorial, strategy), hver klynge knyttes til en stemningsscene-mal, og et backfill-skript kan generere et konsistent helbilde for ethvert innlegg fra klyngen og triggerordet. Identiteten er konstant av konstruksjon; stemningen varierer med tema; ingenting i bildet ber modellen om å gjøre noe den ikke kan. Flere byggenotater fra dette nettstedet finnes på wppoland-bloggen.

#Hvor mange bilder trenger du for å trene en Flux-LoRA

Det overraskende ved treningskjøringen var hvor få bilder det tok, og hvor mye mer utvalget betydde enn antallet. Seks bilder, valgt slik at ingen to delte samme vinkel, lys eller uttrykk, alle med ryddige bakgrunner. Variasjonen er det faktiske læringssignalet: den forteller modellen hvilke trekk som er personen og hvilke som er tilfeldige for ett foto. Et sett på tolv nesten identiske portretter ville lært modellen mindre, fordi den ikke ville hatt noen måte å skille identitet fra lyssettingen i det ene oppsettet, og ansiktet ville bundet seg til ett rom.

To mindre valg veide tungt. Triggerordet MRZSZ er bevisst ikke et ekte ord i noen av bloggens seks språk; et sjeldent token unngår å kollidere med vokabular grunnmodellen allerede knytter til andre konsepter, slik at aktivering av identiteten ikke drar inn urelaterte assosiasjoner. Og rene bakgrunner i treningsbildene holder LoRA-en fra å lære en setting sammen med ansiktet, noe som frigjør prompten til å plassere samme person i enhver scene etterpå. Ingenting av dette er eksotisk. Det er forskjellen mellom en LoRA som generaliserer og en som memorerer.

#Hva Replicate anbefaler for trening av en Flux-LoRA

Replicate beskriver treningsløpet i sin veiledning for finjustering av FLUX.1. Det trengs få inndata: en zip-fil med treningsbilder, et triggerord og et antall steg. Veiledningen anbefaler:

• Bilder: 12 til 20 for best resultat, i JPEG eller PNG, pakket i én zip-fil.
• Triggerord: en streng som ikke er et ekte ord; veiledningen bruker TOK som eksempel.
• Steg: 1000 som et godt utgangspunkt.
• Bildetekster: la automatisk bildetekst være slått på, med mindre du leverer egne bildetekster.
• Maskinvare og tid: Replicate sender alle FLUX.1-finjusteringer til H100-GPU-er, og en kjøring av den lengden tar vanligvis 20 til 30 minutter.

Treningen for denne bloggen skiller seg ut på ett punkt. Den brukte seks bilder, færre enn veiledningens 12 til 20, og resultatet holdt identiteten for dette bruket. De to standpunktene passer sammen: veiledningen gir en trygg standard for ethvert motiv, mens et lite, bevisst variert sett holdt for ett ansikt her. Hvis en første treningskjøring drifter, er flere varierte bilder i retning veiledningens spenn den første justeringen å prøve. På triggerordet følger kjøringen veiledningen: MRZSZ er like lite et ekte ord som TOK. Den trente modellen får deretter sin egen side på Replicate og kalles som enhver annen modell, med triggerordet i prompten; eksempelforespørselen i veiledningen bruker 28 inferenssteg og en guidance scale på 7,5.

#Når du bør bruke LoRA, tekst-til-bilde eller bilde-til-bilde

LoRA-en pensjonerte ikke de andre verktøyene; den tok sin rette plass ved siden av dem. Nettstedet holder to genereringsveier fordi ikke hvert helbilde trenger et ansikt. Når forfatteren skal opptre, rendrer Replicate-Flux-LoRA-en identiteten inn i en stemningsscene. Når artikkelen krever et abstrakt eller teknisk bilde uten noen person i det hele tatt (et stilleben, et makrobilde av maskinvare), er et vanlig tekst-til-bilde-kall via Imagen det billigere, friere verktøyet, til noen få cent per bilde og uten en referanse å håndtere. Det finnes også en bilde-til-bilde-ansiktsreferansevei beholdt for det sjeldne tilfellet der et bestemt ekte foto, ikke den generaliserte identiteten, er det rette utgangspunktet.

Prinsippet bak å beholde alle tre er at hver løser en annen form for problem, og å tvinge ett verktøy til å dekke dem alle var det som produserte de tidligere feilene. Beslutningstreet er kort: person nødvendig og konsistens viktig, bruk LoRA-en; ingen person, bruk tekst-til-bilde; én bestemt ekte ramme, bruk bilde-til-bilde. Å rute forespørselen til riktig vei er størstedelen av kvaliteten.

#Lønner det seg å trene en ansikts-LoRA

Den ærlige motvekten: å trene en ansikts-LoRA er overkill for lavt volum. Trenger du en håndfull bilder i året, er verktøyene med ansiktsreferanse per bilde enklere, krever ingen treningskjøring, og driften over tre eller fire bilder er til å leve med. LoRA-en tjener inn treningskostnaden bare når to betingelser holder samtidig: nok volum til at referansehåndtering per bilde blir et slit, og et reelt behov for én konsistent identitet over en serie. En redaksjonell blogg med hundrevis av innlegg og ett enkelt forfatteransikt oppfyller begge. En landingsside med tre illustrasjoner gjør det ikke.

Den generelle lærdommen overlever de spesifikke verktøyene. Hver mislykket tilnærming feilet på et annet lag: tekst-til-bilde på identitet, bilde-til-bilde på generalisering, den første LoRA-en på grensene for hva diffusjon kan tegne. Å velge riktig verktøy betydde å navngi hvilket lag kravet faktisk levde i. Kravet var aldri “lag et fint bilde”. Det var “samme person, i en troverdig scene, to hundre ganger”, og bare den siste tilnærmingen var bygd for den setningen.

#Kan du bruke bilder fra Flux dev kommersielt

Svaret avhenger av hvor bildet genereres. Vektene til FLUX.1 [dev] distribueres under FLUX.1 [dev] Non-Commercial License, versjon 1.1.1 da dette ble skrevet, publisert sammen med modellen på Hugging Face. Fire deler av den betyr noe for en ansikts-LoRA:

• En finjustert versjon av modellen regnes som et avledet verk (Derivative, punkt 1a), og lisensen gir rett til å bruke modellen og avledede verk bare til ikke-kommersielle formål (punkt 2a og 2b). En LoRA trent på FLUX.1 [dev] faller inn under dette; kommersiell bruk av modellen krever en egen lisens fra Black Forest Labs.
• Genererte bilder er utdata (Outputs), og lisensen slår fast at utdata ikke er avledede verk. Punkt 2(d) sier at selskapet ikke krever eierskap til utdata, og at de kan brukes til ethvert formål, også kommersielle, unntatt det lisensen forbyr; ett av forbudene gjelder å bruke utdata til å trene en modell som konkurrerer med FLUX.1 [dev].
• Punkt 2(e) gjør genereringen betinget av innholdsfiltrering eller en gjennomgang av hvert utdata for ulovlig eller krenkende innhold, og av at det opplyses om at utdataene er laget med KI der loven krever det.
• Punkt 4(a) forbyr bruk som krenker tredjeparts rettigheter, og nevner uttrykkelig retten til eget bilde (rights of publicity) og rettigheter til digitale kopier. For en ansikts-LoRA er dette den viktigste klausulen. Denne bloggens LoRA ble trent på bilder av bloggens egen forfatter; å trene en på en annen persons ansikt er en annen sak.

Det samme punkt 4(a) regner også bruk av modellen, eller av data den produserer, til kommersielle formål eller produksjon blant de forbudte bruksområdene. Det passer dårlig med punkt 2(d), og lisensteksten selv løser ikke motsetningen.

Replicate oppgir sitt eget standpunkt på modellsiden for FLUX.1 [dev]: bilder generert på Replicate med FLUX.1-modeller og finjusteringer av dem kan brukes kommersielt, mens bilder generert fra nedlastede vekter på din egen maskin ikke kan det. For en bedriftsblogg gjør det valget av hosting til et lisensspørsmål, ikke bare et kostnadsspørsmål. Lisenstekster endres mellom versjoner, så les den gjeldende før du lener deg på denne oppsummeringen; den er en lesning av den publiserte teksten, ikke juridisk rådgivning.

I produksjonsinnlegg behandler vi fortsatt hero-bilder som del av GEO- og LLMO-sidekvalitet, ikke som en modelldemo uten menneskelig gjennomgang.