Raczek wywołał burzę oskarżeniem ws. "Chłopów". Zapytałem twórców, czy rzeczywiście pomagała im AI

"Chłopi" są polskim kandydatem do Oscara - walczą teraz o nominację w kategorii najlepszy film międzynarodowy. Jego producenci będą starać się też rywalizować o statuetkę za pełnometrażową animację i muzykę. Póki co zbierają świetne recenzje i zdobyli dwie nagrody na Festiwalu Polskich Filmów Fabularnych w Gdyni: Nagrodę Specjalną Jury za "unikalną formę filmową" oraz Nagrodę Publiczności.

Tomasz Raczek skrytykował "Chłopów". Twierdzi, że przy filmie korzystano z AI

Za filmem nie przepada Tomasz Raczek, który wystawił mu ocenę 5/10. Aktorstwo w "Chłopach" określił mianem "dramatu", a także odniósł wrażenie, że wizualnie było słabiej niż w "Twoim Vincencie" – poprzednim filmie DK (Doroty) i Hugh Welchmanów, który był nominowany do Oscara, ale przegrał z "Coco".

– Zauważyłem, że język malarski filmu "Chłopi" różni się od tego, który był zastosowany w filmie "Twój Vincent". Różni się jakościowo, dziwną gładkością, mniej tam było widać pociągnięć pędzla. Szczególnie to było widać przy zbliżeniach twarzy, która trudno powiedzieć, żeby była realistyczną twarzą. Ona była taką fotograficzną twarzą. (...) To wyglądało, jakby jakiś filtr został nałożony na film, a nie prawdziwe malarstwo – stwierdził.

Wypowiedź krytyka oburzyła twórców "Chłopów" (DK Welchman powiedziała, że to "oszczerczy zarzut"), ale potem na swoją obronę dodał jeszcze na Facebooku post. Przekazał w nim wiadomości, które mu napisały anonimowo osoby pracujące przy animacji.

"Twierdzą, że w filmie malowana na płótnie była co 5 klatka, a resztę roboty wykonała AI. Brzmi to logicznie i prawdopodobnie, bo zgadza się z wrażeniem, jakie odniosłem podczas projekcji w kinie. Swoją drogą byłby to ważny krok na drodze AI do zastępowania pracy ludzkiej przy realizacji filmów" – napisał. I podsumował, że to właśnie stąd taka różnica w jakości animacji, a "Chłopów" porównał do "produktu czekoladopodobnego".

Kwintesencją "Twojego Vincenta" i "Chłopów" jest właśnie technika animacji, która wprawia ręcznie malowane obrazy w ruch. W przypadku poprzedniego filmu nie ma mowy o użyciu AI, bo miał premierę 5 lat temu, zatem powstawał w czasach, gdy algorytmy dopiero się uczyły malować, a o ChatGPT nikt nie słyszał.

Przygotowania do "Chłopów" ruszyły w 2018 r., zdjęcia z aktorami wystartowały w 2020 roku (przerwano je przez pandemię i powrócono na plan w 2021 r.), a rok później zaczęło się malowanie kadrów na podstawie nagranych scen, które trwały aż do września tego roku.

Zbiegło się to zatem w czasie z momentem rewolucji, którą przyniósł nam 2022 rok – to właśnie wtedy wypuszczono najpopularniejsze narzędzia do generowania obrazów w komputerze jak Stable Diffusion i Midjourney.

Można więc przypuszczać, że algorytmy lub mniej zaawansowane odpowiedniki mogły zostać użyte już na etapie montażu i animacji (zresztą jest to już stosowane - np. Netflix użył AI przy anime "Pies i chłopiec"). Postanowiłem to sprawdzić, a przy okazji dowiedzieć się szczegółowo, jak powstawali "Chłopi". Krok po kroku opowiadają o tym Sean Bobbitt, producent filmu oraz Michał Janicki, supervisor postprodukcji cyfrowej. W nawiasach dodałem moje komentarze wyjaśniające.

Jak powstała animacja "Chłopi"? Twórcy opisują proces krok po kroku

• Pierwszy krok produkcji to zdjęcia aktorskie, zrealizowane głównie w studiu. Zdjęcia te są zrealizowane częściowo w scenografii, a dla scen zewnętrznych głównie na zielonym tle. Do realizacji zdjęć tworzyliśmy model wsi Lipiec w programie do tworzenia gier (konkretnie chodzi o silnik graficzny Unreal), i w ten sposób mogliśmy dać aktorom poczucie miejsca, w którym się znajdują.
• Następnie cały materiał został zmontowany. Po ukończeniu montażu cały film został podzielony na sceny i ujęcia, które zostały skierowane do działu postprodukcji.
• Kolejnym krokiem były prace VFX (efekty wizualne), wstawianie tła w miejscu zielonego ekranu z materiału z live action, animacja zwierząt. Tła powstawały na podstawie przygotowanej najpierw w Unrealu całej wsi Lipce - w przestrzeni 3D zostały rozmieszczone domy i zaplanowane scenografie. Potem na tej podstawie artyści malowali mattpainty (matte painting to np. malowanie krajobrazów koncepcyjnych) i concept arty (grafika koncepcyjna np. wizualizacja scen, postaci)
• Mając już gotową referencję, ujęcie było przydzielane malarzowi olejnemu, który tworzył klatki kluczowe na podobrazie. W zależności od rodzaju ujęcia i naszych potrzeb były stosowane różne systemy: najczęściej pracowaliśmy na ujęciach, gdzie każda klatka była malowana olejnie w 12 fps (12 klatek na sekundę), co druga lub co czwarta, w sporadycznych sytuacjach stosowaliśmy inne wyliczenia. Finalnie namalowanych farbami olejnymi na płótnie jest 40 000 z 76 000 klatek. Malarz malował pierwszą klatkę, fotografował, a potem na tym samym podobrazie malował następną klatkę kluczową, i tak dalej do końca ujęcia.
• Potem ujęcie przekazywaliśmy do zespołu malarzy cyfrowych, zajmujących się tzw. "inbetweeningiem". Animatorzy uzupełniali klatki animacyjne pomiędzy klatkami kluczowymi. Inbetweening to proces, który stosowano od 100 lat, między innymi w filmach Walta Disneya (pokazane jest to na wideo poniżej). W tym procesie malarz cyfrowy łączył klatki kluczowe (olejne) wykorzystując to, co malarz olejny namalował wcześniej i dodając ruch z jednej klatki kluczowej do następnej.

W sumie obrazy malowało ręcznie ponad 100 osób w czterech studiach: w Sopocie, Wilnie, Belgradzie i Kijowie. Jak mogliście przeczytać – powstały tysiące malowideł na płótnach. Niektóre można kupić i powiesić na ścianie (w sklepie internetowym kosztują od 250 do 500 euro), a także zobaczyć na żywo na bezpłatnej wystawie "Malowani Chłopi" w Hali Koszyki w Warszawie - od 30 września do 12 października.

Czy w "Chłopach" użyto AI? Był eksperyment, ale jednak nic nie zastąpi człowieka (na razie)

Krótko mówiąc: malarze malowali na płótnie klatki kluczowe (tzw. key frames – znajdziecie je w galerii niżej) dla danego ujęcia, a malarze cyfrowi (często to były te same osoby) domalowywali klatki, że tak powiem, przejściowe już w komputerze. Warto zaznaczyć, że nie wszystkie te klatki pomiędzy były stworzone w programie przy pomocy rysika i tabletu, tylko malarz np. pędzlem "ruszał farbę" o milimetr na obrazie, by uzyskać kolejną klatkę.

Żeby sprawdzić, czy animacja jest płynna, korzystano z programu do animacji poklatkowej DragonFrame, w którym można sobie porównać poprzednią i następną klatkę. Tak więc przy "Chłopach" używano tradycyjnych i nowoczesnych metod, ale czy wspierano się też sztuczną inteligencją (AI)?

"Firma zewnętrzna podjęła się wyzwania przetestowania AI na naszym projekcie niezależnie od rozwijanej przez nas techniki, w której powstawał film. Byliśmy ciekawi czy praca artysty i sztucznej inteligencji będzie nie do odróżnienia" – opowiadają twórcy.

Dziś z radością możemy powiedzieć, że AI wciąż nie może nas zastąpić. Daliśmy jej tysiące malowanych klatek, aby "nauczyć" AI malować. Pracowali nad tym przez rok, ale nie udało im się nauczyć AI, aby malować jak malarz. Więc po roku sami przyznali się, że tego się nie da. Proces malowania, nawet tych klatek pomiędzy, musi robić artysta, który rozumie, jak się maluje i jak oddać ludzkie gesty, ruchy, emocje. Więc do malowania klatek animacyjnych pomiędzy klatkami kluczowymi zaprosiliśmy malarzy cyfrowych, którzy łączyli klatki kluczowe, wykorzystując to, co malarz olejny malował.Twórcy "Chłopów"Sean Bobbitt, producent filmu oraz Michał Janicki, supervisor postprodukcji cyfrowej

Tak więc, do stworzenia "Chłopów" nie użyto AI, ale po prostu przy okazji próbowano sprawdzić, czy w ogóle może być użyta w takim projekcie. Korzystano z programów cyfrowych, ale to nie znaczy, że film nagle nie robi już wrażenia i jest oszukany (mało kto już robi animacje wyłącznie na papierze, bo po co sobie utrudniać życie). Choć namalowanie i wprawienie w ruch wyłącznie klasycznych obrazów byłoby możliwe, to okazałoby się to nieprawdopodobnie praco- i czasochłonne.

Ludzkie oko i tak nie dostrzegłoby wielkiej różnicy, bo przypominam, że mówimy o 12 klatkach na sekundę ("Twój Vincent" też miał tyle), czyli bez klikania pauzy nie widzimy świadomie każdego obrazu, tylko cały efekt (w sensie nasz mózg składa do kupy to, co wysyła mu oko i przez to wydaje nam się, że coś się rusza).

Co prawda w zwykłej animacji robi się dwa razy więcej klatek (jednak niemal wszystkie współczesne powstają w całości cyfrowo), ale wtedy "Chłopi" byliby też aż za płynni i wyglądaliby jak film z nałożonym filtrem "artystycznym".

"12 klatek (faz animacyjnych) jest powszechnie stosowane w animacji poklatkowej. Ludzkie oko ma inną tolerancję dla animacji i 12 klatek na sekundę - w zdecydowanej większości ujęć wystarcza dla odwzorowania płynności ruchu, zachowując przy tym więcej elementów twórczej pracy artysty animatora. Należy też pamiętać, że przy 24 klatkach na sekundę musielibyśmy namalować dwa razy tyle klatek, czyli jeszcze kolejne dwa lata spędzić nad produkcją, podnosząc jednocześnie budżet" – wyjaśniają moi rozmówcy.

Co było trudniejsze: "Twój Vincent" czy "Chłopi"?

Na koniec jeszcze zapytałem Seana Bobbitta i Michała Janickiego o porównanie obu filmów. Okazuje się, że "Twój Vincent", pomimo że był pierwszy, to relatywnie był łatwiejszy do stworzenia – obiektywnie rzecz jasna obie animacje to hardcore'owe wyzwania, które przyprawiają o zawrót głowy.

Każdy, kto kiedyś próbował ręcznie rysować i animować nawet krótki filmik wie, o czym piszę, ale łatwo można się domyślić, że namalowanie 40 tysięcy obrazów na płótnie (de facto nie powstało ich aż tyle, bo część przerobiono, by uzyskać nową klatkę) i niemal drugie tyle na kompie, to nie jest kaszka z mleczkiem.

– Najtrudniejszy jest oczywiście styl malarstwa. Przy 'Vincencie', gdzie mieliśmy do czynienia z postimpresjonizmem - czyli grube pociągnięcia pędzla, mało detali - malarze byli w stanie wykonać prawie cztery klatki dziennie. Natomiast malarstwo realistyczne, które jest inspiracją do filmu 'Chłopi' jest o wiele trudniejsze i ma bardzo dużo detali. Oznaczało, że średnio malarze malowali mniej niż dwie klatki na dzień – mówią twórcy.

Zauważają, że "Twój Vincent" był pierwszym na świecie pełnometrażowym filmem wykonanym w technice animacji malarskiej. Wymyślili wiele autorskich rozwiązań jak np. stacje do malowania tzw. PAWS-y (na filmiku wyżej jest to pokazane w praktyce), których używano potem przy "Chłopach". Jednak adaptacja powieści Władysława Reymonta stawiała poprzeczkę jeszcze wyżej.

"Twój Vincent" był kameralnym filmem - mało ruchu, mało postaci, statyczna kamera. "Chłopi" natomiast to film bardzo dynamiczny, kamera jest w ruchu i podąża za bohaterami. W kadrze często znajduje się wiele postaci, kobiety wirują w tańcu, mają pasiaste stroje, korale. To wszystko potem nasi artyści musieli namalować. Czasami wręcz musieli używać pędzelka o średnicy jednego włoska, by oddać wszystkie detale. Styl Młodej Polski był dla nas bardzo ważny, to właśnie artyści w tego okresu tak pięknie i barwnie przedstawiali życie wiejskie. Nie chcieliśmy rezygnować z realizmu i stąd szukaliśmy, podobnie jak w przypadku "Twojego Vincenta", rozwiązań technologicznych, które pomogą nam zrealizować film, łącznie ze zwiększeniem formatu podobrazia.

Co z tego wyszło? Będziemy mogli przekonać się na własne oczy już niedługo – "Chłopi" wchodzą do kin 12 października.