西風(fēng) 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI
Stable Diffusion也能生成視頻了！
你沒(méi)聽(tīng)錯(cuò)，Stability AI推出了一款新的文本生成動(dòng)畫(huà)工具包Stable Animation SDK，可支持文本、文本+初始圖像、文本+視頻多種輸入方式。
使用者可以調(diào)用包括Stable Diffusion 2.0、Stable Diffusion XL在內(nèi)的所有Stable Diffusion模型，來(lái)生成動(dòng)畫(huà)。
【資料圖】
Stable Animation SDK的強(qiáng)大功能一經(jīng)展現(xiàn)，網(wǎng)友驚呼：
哇哦，等不及想試試了！
目前，Stability AI疑似還在對(duì)這個(gè)新工具進(jìn)行技術(shù)優(yōu)化，不久后將公開(kāi)驅(qū)動(dòng)動(dòng)畫(huà)API的組件源代碼。
3D漫畫(huà)攝影風(fēng)，不限時(shí)長(zhǎng)自動(dòng)生成
Stable Animation SDK可支持三種創(chuàng)建動(dòng)畫(huà)的方式：
1、文本轉(zhuǎn)動(dòng)畫(huà)：用戶輸入文prompt并調(diào)整各種參數(shù)以生成動(dòng)畫(huà)（與Stable Diffusion相似）。
2、文本輸入+初始圖像輸入：用戶提供一個(gè)初始圖像，該圖像作為動(dòng)畫(huà)的起點(diǎn)。圖像與文本prompt結(jié)合，生成最終的輸出動(dòng)畫(huà)。
3、視頻輸入+文本輸入：用戶提供一個(gè)初始視頻作為動(dòng)畫(huà)的基礎(chǔ)。通過(guò)調(diào)整各種參數(shù)，根據(jù)文本prompt生成最終的輸出動(dòng)畫(huà)。
除此之外，Stable Animation SDK對(duì)生成視頻的時(shí)長(zhǎng)沒(méi)有限制，但是長(zhǎng)視頻將需要更長(zhǎng)的時(shí)間來(lái)生成。
Stability AI發(fā)布了Stable Animation SDK后，有很多網(wǎng)友分享了自己測(cè)試效果，讓我們一起看下吧：
Stable Animation SDK可以設(shè)置許多參數(shù)，例如steps、sampler、scale、seed。
還有下面這么多的預(yù)設(shè)風(fēng)格可選擇：
3D模型、仿真膠片、動(dòng)漫、電影、漫畫(huà)書(shū)、數(shù)碼藝術(shù)、增強(qiáng)幻想藝術(shù)、等距投影、線稿、低多邊形、造型膠土、霓虹朋克、折紙、攝影、像素藝術(shù)。
目前，動(dòng)畫(huà)功能API的使用是以積分計(jì)費(fèi)的，10美元可抵1000積分。
使用Stable Diffusion v1.5模型，在默認(rèn)設(shè)置值（512x512分辨率，30steps）下，生成100幀（大約8秒）視頻將消耗37.5積分。
默認(rèn)情況下，每生成1幀，Cadence值設(shè)置為1個(gè)靜止圖像，可根據(jù)不同的動(dòng)畫(huà)模式選擇較低或較高的Cadence值。Cadence值的上限是動(dòng)畫(huà)中的總幀數(shù)，即至少生成一張靜止圖像。視頻轉(zhuǎn)視頻的Cadence必須為 1:1。
官方也給出了一個(gè)示例，可以看出生成100幀標(biāo)準(zhǔn)動(dòng)畫(huà)的標(biāo)準(zhǔn)靜止圖像（512x512/768x768/1024x1024，30 steps）， 隨著Cadence值變化，積分的使用情況：
簡(jiǎn)單來(lái)說(shuō)，受參數(shù)、時(shí)長(zhǎng)等各種因素的影響，生成視頻的費(fèi)用并不固定。
效果和價(jià)格我們都了解了，那如何安裝并調(diào)用API呢？
要?jiǎng)?chuàng)建動(dòng)畫(huà)并測(cè)試SDK的功能，只需要兩個(gè)步驟即可運(yùn)行用戶界面：
在開(kāi)發(fā)應(yīng)用程序時(shí)，需要先設(shè)置一個(gè)Python虛擬環(huán)境，并在其中安裝Animation SDK：
具體使用說(shuō)明書(shū)放在文末啦！
越發(fā)火熱的視頻生成
最近，視頻生成領(lǐng)域變得越來(lái)越熱鬧了。
比如，AI視頻生成新秀Gen-2內(nèi)測(cè)作品流出，網(wǎng)友看完作品直呼：太不可思議了！
Gen-2的更新更是一口氣帶來(lái)了八大功能：
文生視頻、文本+參考圖像生視頻、靜態(tài)圖片轉(zhuǎn)視頻、視頻風(fēng)格遷移、故事板（Storyboard）、Mask（比如把一只正在走路的小白狗變成斑點(diǎn)狗）、渲染和個(gè)性化（比如把甩頭小哥秒變海龜人）。
還有一位名叫Ammaar Reshi的灣區(qū)設(shè)計(jì)師用ChatGPT和MidJourney兩個(gè)生成AI模型，成功做出一部蝙蝠俠的動(dòng)畫(huà)小電影，效果也是非常不錯(cuò)。
自Stable Diffusion開(kāi)源后，一些開(kāi)發(fā)者通過(guò)Google Colab等形式分享了各種魔改后的功能，自動(dòng)生成動(dòng)畫(huà)功能一步步被開(kāi)發(fā)出來(lái)。
像國(guó)外視頻特效團(tuán)隊(duì)Corridor，他們基于Stable Diffusion，對(duì)AI進(jìn)行訓(xùn)練，最終能讓AI把真人視頻轉(zhuǎn)換為動(dòng)畫(huà)版本……
大家在對(duì)新工具的出現(xiàn)興奮不已的同時(shí)，也有網(wǎng)友對(duì)Stable Animation SDK生成的視頻所展現(xiàn)出的效果發(fā)出質(zhì)疑:
這與 deforum有什么區(qū)別？沒(méi)有時(shí)間線都不連貫，只有非常松散的一幀接一幀的圖像。
那么你玩過(guò)這些工具了嗎？感覺(jué)效果如何？
傳送門：https://platform.stability.ai/docs/features/animation/using（Stable Animation SDK使用說(shuō)明書(shū)）
參考鏈接：[1]https://www.youtube.com/watch?v=xsoMk1EJoAY[2]https://twitter.com/_akhaliq/status/1656693639085539331[3]https://stability.ai/blog/stable-animation-sdk
標(biāo)簽：
相關(guān)新聞
保險(xiǎn)時(shí)訊
10-21
10-21
10-21
10-21
10-21
10-21
10-21
10-21
10-21
10-21
聚焦百姓
更多>
廣西舉辦首屆職業(yè)技能大賽 779名選手“擂臺(tái)比拼”
三亞加大打擊非法“醫(yī)美” 今年已查處8起非法行醫(yī)案
新疆?huà)D聯(lián)馳援山西災(zāi)區(qū)1000個(gè)暖心包
山西柳林向孝義市受災(zāi)民眾捐贈(zèng)3300萬(wàn)元