Збільшуємо FPS в анімі за допомогою нейромережі та GPU Tesla T4
Розповідаємо про технологію інтерполяції та її практичне застосування за допомогою хмарних серверів із GPU.
Якось я вирішив подивитись легендарне аніме 1995 року «Примара в обладунках» і не зміг стримати сліз. Насамперед тому, що частота кадрів у цьому аніме – вбивчі для мого зору 23 кадри на секунду. Через особливості жанру аніме частота кадрів на деяких відрізках відео може досягати до 12 за секунду.
Страждати я не хотів, тож почав гуглити, яке рішення може запропонувати мені світ IT. Зрештою натрапив на вкрай цікаву технологію — інтерполяцію, яка використовується майже скрізь, але ми про неї дуже мало знаємо. Далі розповідаю, як вона, нейромережа RIFE та сервер з GPU допомогли мені подивитися «Привида» без головного болю.
Трохи теорії
Почнемо з найголовнішого — з поняття, довкола якого побудовано статтю.
Інтерполяція кадрів відео, або Video Frame Interpolation (VFI) — це узагальнена назва цілого ряду різних підходів, орієнтованих на те, щоб виконати одну єдину мету — покращити якість відеоконтенту шляхом додавання проміжних кадрів у відеоряд. Суть підходу в тому, щоб взяти два ключові кадри та створити на їх основі проміжний. Так, у перспективі їх загальна кількість збільшується в кілька разів.
Стандартний метод інтерполяції
Стандартна інтерполяція використовує метод перетворення відеопотоку. Сама по собі технологія досить стара і сягає корінням у 90-ті роки.Головним недоліком методу є те, що стандартні алгоритми інтерполяції складаються тільки з математичної моделі та не мають на увазі аналіз вмісту кадру, його глибину та рух об'єктів усередині нього. Це часто призводить до неприємних артефактів в обробленому відео. Найкраще ілюструють приклад таких артефактів відео з котиками.
У такого підходу є й плюси: стандартна міжкадрова інтерполяція не потребує великих потужностей для ефективної роботи, що робить її дуже поширеною у різних відеокодеках.
Ще технологія повсюдно використовується в сучасних телевізорах і проекторах: відмінність між герцюванням екрану і швидкістю відеопотоку, за словами виробників, викликає відчуття рваної картинки, тому телевізори автоматично інтерполують кадри, щоб нівелювати цей ефект.
Однак, це може порушити плани деяких режисерів. Особливо це дратує творців бойовиків, які спеціально знімають свої фільми з 30 FPS. Справа в тому, що в багатьох сучасних телевізорах опція інтерполяції кадрів включена за замовчуванням. Картинка стає занадто плавною, через що фільм виглядає зовсім не так, як він був задуманий, а глядач перестає вірити в те, що відбувається.
У 2018 році Том Круз висловлювався за відключення цієї функції перед переглядом повнометражного кіно. Картинка дійсно виглядає дивно та неприродно, ніби знята на цифрову камеру, а не на плівку. У цього явища навіть з'явилася назва - "Ефект мильної опери".
Сучасний метод інтерполяції
Сучасні методи інтерполяції засновані на злагодженій роботі відразу кількох алгоритмів, що включають стандартний аналіз відеопотоку і зв'язки різних нейромереж.
Цей метод вирішує частину недоліків стандартної інтерполяції, наприклад, неприємні артефакти, що з'являються на тлі кадру, коли на екрані відбувається рух.
Але як? Давайте розберемося.
Сучасні алгоритми являють собою своєрідний багатошаровий пиріг з програмних рішень. На кожному шарі відбувається обробка кадру за допомогою нейромереж та складних математичних моделей.
- Картинка стає набагато плавнішою і виглядає природніше.
- На виході алгоритм видає менше артефактів за рахунок глибшого аналізу.
- Такий підхід дає нам можливість збільшувати кількість кадрів необмежену кількість разів.
Недоліки методу
Окей, звучить дуже складно. А недоліки цього методу є? Так, і вони серйозно обмежують масове застосування цих технологій у пристроях:
- Найголовнішим недоліком методу є його ненажерливість до ресурсівЩоб якісно обробити відео у високій роздільній здатності за допомогою нейромереж, знадобиться або дуже потужний графічний прискорювач, або значна кількість часу.
- З першого мінуса виходить наступний. висока вартість обробки одного кадру.
- Сучасні алгоритми ще не навчилися суперякісно добудовувати кадри, на яких рух будь-яких об'єктів відбувається надто швидко. Нейросітка просто не домалює його як незначний елемент кадру.
Сучасні методи інтерполяції практично не мають масового застосування через високу вимогливість до реурсів.На сьогоднішній день в більшості випадків її алгоритми використовуються для експериментів.
Але є винятки. Компанія NVIDIA навчилася використовувати методи, які застосовуються при аналізі кадрів, для покращення картинки в іграх. Так з'явилася технологія DLSS, яка одночасно вбиває двох зайців: покращує картинку у грі та збільшує частоту кадрів на секунду майже вдвічі.
Крім великих компаній типу NVIDIA, методи інтерполяції за допомогою нейромереж використовують невеликі стартапи, такі як neural.love. Це проект нашого співвітчизника, який застосовує сучасні нейромережі для вирішення різних завдань — від апскейлінгу відео в 4К та інтерполяції в 60 FPS до відновлення старовинних фотографій. Виглядає як магія.
Цей текст — не ВКР нейросетями, але щоб трохи краще розібратися, на яких нейромережах працює сучасний метод інтерполяції, давайте познайомимося з популярною «дослідницькою» нейромережею.
DAIN - найвідоміша VFI-нейросеть
Ця нейромережа не є готовим продуктом, це дослідницький алгоритм, розроблений з метою переглянути підхід до інтерполяції та зробити її «твором мистецтва». Модель отримує на вхід відео та проходиться по ньому кілька разів, застосовуючи до кадрів різні методи. На виході ми отримуємо максимально якісно опрацьований контент.
DAIN складається з наступних «шарів»:
Алгоритм перетворення оптичного потоку
На цьому етапі відбувається добре знайома міжкадрова інтерполяція «старим» стандартним методом, нічого особливого. Ідемо далі.
Побудова карти глибини
На цьому етапі включається допоміжна нейромережа, яка бере кадр та вибудовує його карту глибини.Саме ця особливість алгоритму допомагає зробити якіснішу картинку на виході.
Аналіз контексту
Алгоритм зазвичай бере всі кадри наданого йому відео та інтерполює відразу все. Як правило, це призводить до ситуацій, коли на стику двох планів (наприклад, герой в анфас → герой зі спини) нейромережа видає кашу з двох сцен, де нічого не зрозуміло. При одиничному збільшенні кількості кадрів удвічі це майже непомітно. Але при багаторазовому збільшенні фреймрейту відео просто неможливо дивитися, так як воно складається з мішанини.
Для нівелювання цього ефекту в роботу включається друга нейромережа, яка порівнює кадри у пошуках сильних відмінностей у контексті. Якщо кадри значно відрізняються, вони увійдуть у різні сцени, а значить, на виході відео буде обережним.
Інтерполяція нейромережею
На цьому етапі включається нейромережа, яка бере два сусідні зображення, зіставляє їх із картою глибини та аналізом оптичного потоку (їх ми отримали на попередньому етапі). Потім генерує кадри із проміжним зображенням.
Складання відео
На останньому етапі залишається лише взяти всі кадри, надані нейромережею, з'єднати їх із кадрами, які були у відео спочатку, та підібрати правильний фреймрейт. Після цього на відео можна зі спокійною душею накладати звук і отримувати задоволення від плавної картинки.
Наочніше це у реалізації. Наприклад, моє улюблене відео, інтерполіроване за допомогою DAIN.
Технології інтерполяції відео розвиваються дуже швидко, тому за мірками штучного інтелекту DAIN вважається застарілим. 2020 року група дослідників з Китаю переглянула роботу низки схожих алгоритмів — у результаті вийшов RIFE.
Яку нейронну мережу використовував я
Для своєї доброї мети і збереження зору я вирішив використовувати новий трансформер, що займається інтерполяцією, - RIFE. Сама по собі нейромережа використовує підхід, при якому не застосовується метод аналізу оптичного потоку (перший шар DAIN).
Розробники написали власний алгоритм, який був навчений на двох гігантських датасетах з відео у високій якості. рух об'єктів.
Завдяки перегляду стандартного підходу розробникам вдалося досягти запаморочливого успіху: за їхніми словами, RIFE працює в 4 рази (а в деяких випадках — до 27 разів) швидше за попередників.
Інтерполяція своїми руками
Отже, що нам знадобиться зробити інтерполяцію за допомогою RIFE самостійно?
Насамперед нам потрібні достатні обчислювальні потужності. Як стенд я вибрав хмарний сервер з відеокартою NVIDIA Tesla T4.
Хмарні сервери з GPU
Потужність у ресурсоємних задачах
Після цього переходимо в офіційний GitHub репозиторій авторів нейромережі RIFE та клонуємо його собі на сервер:
git clone [email protected]:megvii-research/ECCV2022-RIFE.git && cd ECCV2022-RIFE
Далі для коректної роботи нейромережі нам потрібно встановити необхідні залежності.Вони лежать у файлі requirements.txt.
pip3 install -r requirements.txt
Для роботи алгоритму також потрібна навчена модель.
Завантажену модель необхідно перемістити до каталогу train_log/ .
Далі все просто. Завантажуємо на сервер необхідне нам відео.
Для створення відео з подвоєною частотою кадрів запускаємо команду:
python3 inference_video.py --exp=1 --video=video.mp4
Процес пішов!Можна відійти попити чаю або включити чергову серію улюбленого серіалу, якщо відео довге: інтерполяція за допомогою нейромереж — досить довгий процес.
Коли алгоритм закінчить обробляти відео, у каталозі, який ми завантажили з GitHub, з'явиться готове відео зі збільшеною кількістю кадрів.
Зліва знаходиться оригінальний запис, у той час як відео справа – результат роботи RIFE. Рівно половина кадрів цього відео створена нейромережею на основі отриманих на вході кадрів.
Зображення стало плавнішим — все завдяки інтерполяції.
Ось так бажання дивитися аніме без дискомфорту підштовхнуло мене розібратися в механізмах інтерполяції і збільшити FPS аніме за допомогою нейромережі на хмарному сервері з GPU.
Аніме
Аніме (Яп. 애니메이션 [аніме: сен], рус. «анімація») - це японський анімаційний стиль (у широкому сенсі вся японська мультиплікація), який відрізняється від інших анімаційних стилів своєю унікальною стилізацією персонажів, світу та сюжету.Аніме стало популярним у Японії у 1960-х роках, а потім стало користуватися всесвітнім визнанням у 1980-х та 1990-х роках [1] . Аніме, на відміну від мультфільмів інших країн, що створюються для дитячої аудиторії, здебільшого націлено на старшу аудиторію — підлітків та дорослих [2] . Саме завдяки цьому воно користується високою популярністю у світі. Слово "аніме" походить від англійського слова animation "анімація".
Аніме характеризується використанням яскравих кольорів, деталізацією та рухом. Сюжети аніме можуть бути досить різноманітними: від фантастики та пригод до романтики та повсякденних історій. Багато аніме також ґрунтуються на манзі (японських коміксах). Аніме стало культурним феноменом на світовій арені, і японська анімаційна індустрія вийшла на провідні ролі у світовій анімації [2] .
Історія
Аніме з'явилося в Японії в XX столітті завдяки використанню західних технік мультиплікації, а першим звуковим аніме став короткометражний фільм Chikara to Onna no Yo no Naka режисера Масаокі в 1933 [3] . Основоположником традицій сучасного аніме став Осаму Тедзука, який розвинув спосіб передачі емоцій персонажів через великі очі у своїх роботах. Тедзука розпочав свою кар'єру у світі манги зі створення «Shin Takarajima». Його наступною роботою стала манга "Tetsuwan Atomu", завдяки якій він став відомим. У 1970-х роках манга стала дуже популярною, і багато творів було анімовано. Одним із найвідоміших майстрів японської манги та аніме, був Тедзука, якого називали «богом манги та аніме». У цей час з'явилися аніме-серіали, створені для підліткової аудиторії, які були успішними й у дорослих глядачів.На той час аніме трохи відставало від манги, яка вже здобула популярність серед усіх кіл населення Японії. У 1970-х роках аніме стало популярним у підлітків та дорослих [4] .
Пік розвитку аніме припав на 1980-і та 1990-і роки, коли аніме стало все більш популярним у Японії та набуло всесвітнього визнання. У ці роки було створено багато відомих аніме-серіалів і фільмів, таких як «Драконові перли», «Акіра», «Принцеса Мононоке», та багато інших. У цей період відбувався активний розвиток та вдосконалення технологій створення анімації [5] . У 1984 році студія Gainax створила перший японський анімаційний фільм, що використовує комп'ютерну графіку.
У середині 1990-х років — на початку 2000-х років аніме почало набувати більшої популярності в інших країнах світу, коли на екрани вийшли такі відомі аніме-серіали, як «Сейлор Мун», «Наруто», «Детектив Конан», а також такі повнометражні аніме-фільми як «Віднесені привидами» та «Ходячий замок». Аніме продовжує розвиватися та експериментувати з різними жанрами та технологіями. Багато відомих студій, таких як Studio Ghibli, Toei Animation, Madhouse та інші, продовжують створювати високоякісні аніме-фільми та серіали.
В останні роки аніме стало доступнішим для широкої аудиторії завдяки стрімінговим сервісам, таким як Netflix і Crunchyroll, які надають можливість дивитися аніме на різних пристроях. Крім того, аніме також отримує визнання і в західній культурі. Деякі західні студії, такі як DreamWorks та Disney, почали створювати свої аніме-серіали та фільми, використовуючи техніку та естетику японського аніме [6] .
Особливості
Анімація в Японії має унікальний культурний контекст, який розвивається у замкнутому середовищі з безліччю унікальних символів, шаблонів, смислів та типажів. Це проявляється в специфічних жанрах аніме, таких як хутра, що живуть за своїми законами, а також наявність елементів японської культури. Аніме дуже популярно в Японії, чого не можна сказати про мультиплікацію інших країн світу. Це зумовлює і загальна спрямованість певної частки творів на більш дорослу аудиторію, що виявляється у більшій увазі до філософської та ідеологічної складових, переважання «дорослих» мотивів у тематиці, і, у тому числі, меншою табуйованістю тем сексу та насильства в культурі загалом. Твори анімації створюються з розрахунком на конкретну аудиторію, яка може бути визначена за статтю, віком та психологічним типом глядача. На основі обраного метажанру визначається сюжет, ідеї та стиль зображення твору. Більшу частину анімації в Японії становить дитяче аніме, проте за межами країни більшою популярністю користуються твори, спрямовані на підліткову та дорослу аудиторію [3] .
Багато персонажів аніме мають неприродно великі очі, що є основною особливістю малюнка аніме. Ця стилістика походить з мультиплікаційних фільмів США, таких як Міккі Маус і Бембі, і була вперше використана Осаму Тедзука, якого вважають основоположником стилю. В аніме основна увага приділяється деталізації очей, а не їхньому розміру. Зазвичай ніс та рот зображуються кількома хвилястими лініями, крім випадків, коли персонаж каже. Однак існують твори, де використовується більш реалістичний стиль малювання, де ніс, рот і вилиці мають більшу деталізацію та затінення [2] .
Часто очі персонажа в анімі можуть дати уявлення про його особистість. Вони можуть показати вік, відкритість та емоційний стан персонажа. У дітей очі, як правило, зображуються дуже великими, а у старих маленькими з маленькою зіницею, за рідкісним винятком. Окуляри в аніме використовуються для вираження характеристик персонажа та є неодмінним атрибутом для ерудитів чи скромних персонажів. Окуляри різних форм, розмірів і кольорів використовуються для прикраси персонажів і є характерною рисою близько чверті відомих персонажів аніме [5] .
В анімі інші атрибути, такі як одяг та волосся, також відображають характер персонажа. В аніме волосся зазвичай складається з безлічі пасм і може мати найрізноманітніші форми і кольори. Крім традиційних способів вияву емоцій, таких як зміна виразу обличчя або голосу, використовуються й інші техніки. Емоції можуть бути зображені нереалістично і перебільшено, такі як персонажі, що говорять із заплющеними очима, щоб передати безапеляційність, або набувають демонічного вигляду, коли виявляють гнів. У смішних ситуаціях можуть використовуватися піктограми, такі як «крапельки поту» або «вени, що здулися», що виникають над головою героя, або з'являються в рамці над нею, щоб показати несерйозність емоцій [4] .
Виробництво та розповсюдження
Аніме, як правило, створюється в малих анімаційних студіях, які фінансуються більшими компаніями. Терміни створення телесеріалів зазвичай короткі, тому дрібні помилки аніматорів який завжди виправляються. Працюючи над повнометражною анімацією контроль якості серйозніший, але терміни виробництва гнучкіші. Продюсери формують замовлення на конкретне аніме.Режисер займається художнім оформленням, вибирає акторів для озвучування та розробляє режисерське розкадрування, що описує ключові моменти. Режисер-аніматор координує роботу аніматорів. Дизайнер персонажів відповідає за образи персонажів і часто є головним аніматором [7] .
Частота кадрів у японських мультсеріалах зазвичай становить 8-12 кадрів на секунду, але у складніших проектах використовується 24 кадри на секунду. Працюючи з графікою студії активно використовують комп'ютерні технології. Існує понад 430 аніме-студій у Японії, і деякі з них працюють разом для підвищення ефективності [4] .
Аніме та манга є невід'ємною частиною японської популярної культури з 1950-х років, коли домашні телевізори стали доступні практично кожному японцю. Першим анімаційним серіалом був Tetsuwan Atom, створений Осаму Тедзукою. Щорічно в Японії створюється близько 50 нових аніме, а телевізійні канали транслюють близько 80 аніме щотижня. Аудиторія глядачів складає більшість населення Японії. З 1990-х років аніме стало широко розповсюджуватися по всьому світу [8] .
Примітки
- ↑Аніме. Велика російська енциклопедія(рус.) . Велика російська енциклопедія. Дата звернення: 13 березня 2023 року.
- ↑ 2,02,12,2Mark W. MacWilliams.Japanese Visual Culture: Explorations in the World of Manga and Anime. - Routledge, 2014-12-18. - 446 с. - ISBN 978-1-317-46699-4.
- ↑ 3,03,1Andrea Baricordi, Protoculture (Firm).Anime: A Guide to Japanese Animation, 1958-1988. - Protoculture, 2000. - 311 с. - ISBN 978-2-9805759-0-7.
- ↑ 4,04,14,2Boris Ivanov.Введення у японську анімацію. - Фонд розвитку кінематографії, Регіональний громадський фонд "Ейзенштейнівський центр досліджень кінокультури", 2001. - 335 с. - ISBN 978-5-901631-01-0.
- ↑ 5,05,1Кріс Стакман.Anime World. Від «Покемонів» до «Зошити смерті»: як змінювався світ японської анімації. - Litres, 2021-06-04. - 747 с. - ISBN 978-5-04-349166-4.
- ↑Netflix знімають мультсеріали з DreamWorks | Новини | Світ фантастики та фентезі(рус.) . Дата звернення: 13 березня 2023 року.
- ↑Як створюють аніме: деталі та цікаві факти | rdd.media © 2023(рус.)(неопр.)?. rdd.media (12 червня 2022 року). Дата звернення: 13 березня 2023 року.
- ↑Леонід Кудрявцев.Літній острів аніме. - Litres, 2022-05-15. - 25 с. - ISBN 978-5-457-43116-4.
Ця стаття має статус «готової». Це не говорить про якість статті, проте в ній вже достатньо розкрито основну тему. Якщо ви хочете покращити статтю – правте сміливо!
Недитяча розвага
3 листопада 1928 року народився японський художник і мультиплікатор Осаму Тедзука, один із основоположників манги та аніме. У якому стані сьогодні знаходиться одна з найбільших індустрій розваг у світі — в інфографіці «КоммерсантЪ».
Осаму Тедзука. 1984 рік
Фото: The Asahi Shimbun / Getty Images
Осаму Тедзука. 1984 рік
Фото: The Asahi Shimbun / Getty Images
За даними консалтингової компанії Parrot Analytics, глобальний попит на аніме-контент у 2021-2022 роках зріс на 118%, що зробило його одним із найшвидших жанрів під час пандемії. 2022 року, за оцінками, ринок досяг рекордних $20,6 млрд. Загалом у промисловості працюють близько 5 тис. людина.
У Росії аніме не вийшло за межі субкультури, однак у країні добре відоме ім'я Хаяо Міядзакі. Три фільми режисера входять до числа найкасовіших фільмів аніме всіх часів, включаючи найвідомішу його картину — «Віднесені привидами», яка зібрала в прокаті $383,9 млн.З роками жанр не втрачає касової привабливості: стрічка «Дитя Природи» від Макото Сінкая, що вийшла в 2019 році, принесла творцям $192,9 млн, а «Винищувач демонів: Поїзд "Нескінченний"» (2020) заробив $507,1 млн.
У 2020 році індустрія аніме видала свій найуспішніший у прокаті проект — «Винищувач демонів: Поїзд "Нескінченний"», який став найбільшим релізом року у світі і зібрав $507,1 млн. У 2023 році в кіно повернувся Хаяо Міядзака, новий фільм якого «Хлопчик і птах» вже зібрав $56,2 млн — картинку показуватимуть у вітчизняних кінотеатрах із 7 грудня.
Кіноіндустрія аніме складається з фільмів, які виходять у прокат, а також серіалів, які крутять по ТБ, випускають на відеоносіях і продають на стрімінги. тільки Netflix за 2022 рік додав на свою платформу понад 40 проектів жанр аніме.
Ринок аніме зростає не тільки в Японії, а й у всьому світі. Великий Куш», який за перші кілька днів після релізу посів перше місце на переглядах у 84 країнах.
Аніме найбільше популярне в Азії, і найбільшим попитом воно користується в Китаї, аудиторія перевищує 370 млн. чоловік. ринок, до якого входить і Росія, не становить істотної частки від світового. 0,4%.
США, Канада та Китай лідирують за кількістю закуплених ліцензій контенту аніме. До десятки країн з найбільшою кількістю аніме також входять Великобританія, Австралія та Південна Корея. Франція, незважаючи на популярність аніме, ліцензувала лише 35 фільмів та серіалів і знаходиться на 19-му місці. Росія ж ліцензувала не більше дев'яти фільмів та серіалів і не входить до лідерів зі споживання аніме-контенту.
У Японії існують три найбільші видавництва манги: Shueisha, Kodansha та Shogakukan. У заснованої в 1925 році Shueisha найбільше найпопулярніших коміксів манги, до них входять «One Piece. Великий куш» (виходить з 1997 року), «Наруто» (1994-2014) та «Бліч» (2001-2016). Kodansha володіє правами на "Атаку Титанів", що продалася тиражем в 120 млн копій, а Shogakukan видає "Golgo 13" та "Детектива Конана". У середньому томи манги продаються мільйонними тиражами, що недосяжно для західних коміксів, які у кращому разі сягають 100-200 тис. проданих копій за випуск.
У 2022 році найпопулярнішими серіями манги стали «Магічна битва», «Винищувачі демонів» та «Токійські месники». Популярністю користується і «Атака Титанів», фінальний сезон серіалу за якою має завершитися 5 листопада.
Ринок манги з 2014 року виріс у півтора рази, чому сприяло збільшення попиту на цифрові версії продукції. Друковані версії, у свою чергу, втрачають популярність, їх продаж за останні десять років скоротився в 1,6 раза. Манга популярна у всьому світі. Серед головних поціновувачів знову Франція, де 2021 року понад 55% проданих коміксів були мангою.