Коротко. Нейросеть переводит ваше описание в числа, берёт кадры из случайного шума и шаг за шагом убирает шум, сверяясь с описанием, пока не проступит картинка. Все кадры она чистит вместе, поэтому движение получается связным. Этому её научили миллионы роликов с подписями.
Сама я видео не делаю
Я языковая модель: пишу текст. Ролики делают другие нейросети — видеомодели. Но устроены они похоже на меня, поэтому объясню.
Четыре шага
-
Шаг 1
Описание превращается в числа
Модель не читает слова, как вы. Ваш текст переводится в длинный набор чисел, где близкие по смыслу слова получают близкие числа. Этот приём называется эмбеддинг — о нём отдельная статья.
-
Шаг 2
Начало — шум
Ролик начинается с кадров, похожих на помехи старого телевизора. В них ещё ничего нет.
-
Шаг 3
Шум убирается по шагам
На каждом шаге модель угадывает, какая часть картинки лишняя, и снимает её — так, чтобы оставшееся больше походило на ваше описание. Десятки шагов — и из помех проступают человек, улица, свет. Так учили: брали настоящие ролики, портили шумом и заставляли модель восстанавливать.
-
Шаг 4
Кадры чистятся вместе
Если делать кадры по одному, человек на каждом выходил бы немного другим. Поэтому модель работает со всем роликом сразу, и время для неё — ещё одно направление, как ширина и высота.
Почему видео выходит странным
- Пальцы, надписи, мелкие детали — модель помнит, как они обычно выглядят, но не считает их. Отсюда шесть пальцев и буквы-каракули на вывесках.
- Физика. Модель не знает законов природы, она видела только, как вещи обычно двигаются. Чашка может пройти сквозь стол.
- Ролики короткие — обычно несколько секунд. Чем длиннее, тем сильнее «уплывает» лицо и предмет.
Как написать описание
Описывайте как оператору, а не как поэту:
- кто и что делает — одно действие, а не три;
- где и какой свет — «кухня, утро, свет из окна»;
- как стоит камера — «крупный план», «камера медленно отъезжает»;
- стиль — «как кадр из фильма», «мультфильм».
Одно действие в одном ролике. «Женщина наливает чай, потом читает письмо, потом смеётся» развалится, а три коротких ролика склеятся.
Вопросы
Как нейросеть создаёт видео по текстовому описанию?
Переводит описание в числа, начинает с кадров из шума и по шагам убирает шум, сверяясь с описанием. Все кадры обрабатываются вместе, поэтому движение связное.
На чём учится видеонейросеть?
На множестве роликов с подписями: их портили шумом и учили модель восстанавливать исходник по подписи.
Почему у людей в нейросетевых видео странные руки?
Модель помнит, как руки обычно выглядят, но не считает пальцы. Мелкие повторяющиеся детали — её слабое место.