3月6日，騰訊混元發(fā)布圖生視頻模型并對外開(kāi)源，同時(shí)上線(xiàn)對口型與動(dòng)作驅動(dòng)等玩法，并支持生成背景音效及2K高質(zhì)量視頻。

基于圖生視頻的能力，用戶(hù)只需上傳一張圖片，并簡(jiǎn)短描述希望畫(huà)面如何運動(dòng)、鏡頭如何調度等，混元即可按照用戶(hù)要求讓圖片動(dòng)起來(lái)，變成5秒的短視頻，還能自動(dòng)配上合適的背景音效。此外，上傳一張人物圖片，并輸入希望“對口型”的文字或音頻，圖片中的人物即可“說(shuō)話(huà)”或“唱歌”；如果選擇動(dòng)作模版，還能一鍵生成同款跳舞視頻。

目前用戶(hù)通過(guò)混元AI視頻官網(wǎng)（https://video.hunyuan.tencent.com/）即可體驗，企業(yè)和開(kāi)發(fā)者可在騰訊云申請使用API接口使用。

此次開(kāi)源的圖生視頻模型，是混元文生視頻模型開(kāi)源工作的延續，模型總參數量保持130億，適用于多種類(lèi)型的角色和場(chǎng)景，包括寫(xiě)實(shí)視頻制作、動(dòng)漫角色甚至CGI角色制作的生成。開(kāi)源內容包含權重、推理代碼和LoRA訓練代碼，支持開(kāi)發(fā)者基于混元訓練專(zhuān)屬LoRA等衍生模型。目前在Github、HuggingFace等主流開(kāi)發(fā)者社區均可下載體驗。

據混元開(kāi)源技術(shù)報告披露，混元視頻生成模型具備靈活的擴展性，圖生視頻和文生視頻在相同的數據集上開(kāi)展預訓練工作。在保持超寫(xiě)實(shí)畫(huà)質(zhì)、流暢演繹大幅度動(dòng)作、原生鏡頭切換等特性的基礎上，讓模型能夠捕捉到豐富的視覺(jué)和語(yǔ)義信息，并結合圖像、文本、音頻和姿態(tài)等多種輸入條件，實(shí)現對生成視頻的度控制。

混元視頻生成模型開(kāi)源以來(lái)，一直保持較高的熱度，去年12月登頂huggingface全站趨榜第一，目前Github平臺上Star數超過(guò)8.9K。多位開(kāi)發(fā)者自發(fā)制作基于社區Hunyuanvideo的插件與衍生模型，積累超過(guò)900個(gè)衍生版本。更早開(kāi)源的混元DiT文生圖模型，在國內外衍生模型數量多達1600多個(gè)。