このリポジトリは、株式会社AIdeaLabが提案する、時空間分離型MoEのコンセプトモデルを動かすためのリポジトリです。 学習コードはありませんので、学習コードを含めた技術的提携に関しては弊社にお気軽にお問い合わせください(窓口)。

なお、モデルは、経済産業省と国立研究開発法人新エネルギー・産業技術総合開 発機構 (NEDO) が実施する、国内の生成AIの開発力強化を目的としたプロジェクト「GENIAC（ Generative AI Accelerator Challenge）」の支援のもと、AIdeaLabが開発した基盤モデルを用いています。

ソースからインストールしてください。uvなどを使うことをおすすめします。

git clone https://github.com/AIdeaLab/ST-MoE-DiT.git
cd ST-MoE-DiT
pip install -e .

次にモデルをHugging Faceからダウンロードしてください。

hf download aidealab/AIdeaLab-VideoMoE-7B-A2B videomoe.safetensors --local-dir=. 

そして、動画を作るために推論コードを実行してください。

python infer.py

すると、動画が生成されるはずです。途中でModelscopeからその他のモデルをダウンロードしてきますので、しばらくお待ち下さい。

本リポジトリはDiffSynth-Studioをベースに作成されています。 動画生成モデルWanの学習コードを公開してくださったDiffSynth-Studioの作者に感謝します。