【OpenMMLab】MMagic 代码教程_mmagic 实例文件错误

link管理
链接快照平台
输入网页链接，自动生成快照
标签化管理网页链接
安装pytorch

# torch 版本 1.10.1 cuda 版本 11.3
pip3 install install torch==1.10.1+cu113 torchvision==0.11.2+cu113 torchaudio==0.10.1+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html
安装 MMCV
 
pip install -U openmim
mim install mmengine
mim install "mmcv==2.0.0rc4"
安装其他工具包
 
包括 cv2: opencv-python, pillow, matplotlib, seaborn, tqdm, pytorch-lightning, mmdet 
pip install opencv-python pillow matplotlib seaborn tqdm pytorch-lightning 'mmdet>=3.0.0rc1' -i https://pypi.tuna.tsinghua.edu.cn/simple
安装 MMagic
 
git clone https://github.com/open-mmlab/mmagic.git
cd mmagic
pip install -e .
没有报错，就表示安装成功 
检查torch 和 cuda 
import torch
print(torch.__version__)
print(torch.cuda.is_available())
检查 mmcv 
import mmcv
from mmcv.ops import get_compiling_cuda_version, get_compiler_version
print("MMCV版本：", mmcv.__version__)
print("CUDA 版本：", get_compiling_cuda_version())
print("GCC 版本：", get_compiler_version())
检查 mmagic 
import mmagic
print("MMagic 版本：", mmagic.__version__)
黑白照片上色
 
下载 demo 照片 
wget https://zihao-openmmlab.obs.cn-east-3.myhuaweicloud.com/20230613-MMagic/data/test_colorization.jpg -O test_colorization.jpg

 2. 模型预测，为图像上色 
python demo/mmagic_inference_demo.py \
	--model-name inst_colorization \
	--image test_colorization.jpg \
	--result-out-dir out_colorization.png
                                    MMagic (Multimodal Advanced, Generative, and Intelligent Creation) 是一个供专业人工智能研究人员和机器学习工程师去处理、编辑和生成图像与视频的开源 AIGC 工具箱。MMagic 允许研究人员和工程师使用最先进的预训练模型，并且可以轻松训练和开发新的定制模型。无条件生成对抗网络 (GANs)条件生成对抗网络 (GANs)内部学习*扩散模型还有许多其他生成模型即将推出！图文生成图像翻译3D 生成图像超分辨率。
                                    MMagic 快速入门指南
 mmagicOpenMMLab Multimodal Advanced, Generative, and Intelligent Creation Toolbox. Unlock the magic ????: Generative-AI (AIGC), easy-to-use APIs, awsome model zoo, diffusion models, for te...
                                    OpenMMLab 诞生于2018年，是一个由中国开发者主导的人工智能计算机视觉开源算法体系。每个计算机视觉任务都有相应的OpenMMLab在Github上开源。OpenMMLab 已经累计开源了超过30个算法库，大量的预训练模型，涵盖了图像识别分类，目标检测，语义分割，姿态估计等等各种计算机视觉任务。而且这些算法库都在Github上免费开源，可以直接下载所有的源代码和预训练文件。
                                    尝试方案：①减小batch_size，从32=>16=>8=>4，无法解决；②将GPU个数调整为单个，无法解决；③在创建faiss索引之前对缓存进行清除，有效！报错原因：显存分配不足。在本项目中，具体是在。
                                    MMagic (Multimodal Advanced, Generative, and Intelligent Creation) 是一个供专业人工智能研究人员和机器学习工程师去处理、编辑和生成图像与视频的开源 AIGC 工具箱。MMagic 允许研究人员和工程师使用最先进的预训练模型，并且可以轻松训练和开发新的定制模型。MMagic 支持各种基础生成模型，包括：无条件生成对抗网络 (GANs)条件生成对抗网络 (GANs)内部学习扩散模型还有许多其他生成模型即将推出！
                                    之前介绍的都是监督学习，学习数据对之前的关系而gan是一种无监督学习，学习的是数据结构的概率分布EDVREDVRVideoREnhancedD将一帧图像和前后各一帧的图像以及经过下采样的真实图像一起送入网络先进行图像去模糊，利用光流进行图像对齐然后送卷积网络中提取特征，对两个图像的特征值做特征融合，再进行重建最后进行上采样获得该帧的高清的图像。
                                    经过 OpenMMLab 2.0 框架的迭代更新以及与 MMGeneration 的合并，MMEditing 已经成为了一个支持基于 GAN 和 CNN 的底层视觉算法的强大工具。而今天，MMEditing 将更加拥抱生成式 AI（Generative AI），正式更名为ultimodaldvanced,ntelligentreation），致力于打造更先进、更全面的 AIGC 开源算法库。MMagic 将为广大研究者与 AIGC 爱好者们提供更加快捷灵活的实验支持，助力你的 AIGC 探索之旅。
                                    第二次参加OpenMMLab举行的AI实战营活动啦，有幸担任七班班长和上一期1班同学做搭档（卫同学是我的助教大人，星星眼！开营仪式后，同济子豪兄概述了OpenMMLab和其下的各开源算法库。高能提醒：文末有彩蛋！！入门计算机视觉神器OpenMMLab目录写在前面课程安排OpenMMLab总体框架与现状主要CV库介绍MMPretrain （最新发布）主要特性MMpose 以及RTMPoseMMagicMMDeploy 模型终端部署下面是会首先放上本次课的课程安排，然后是笔记正文，同班的同学们一起加油鸭！
                                    配置环境  torch = 1.10.0   cuda = 11.1输出1.0.0运行解决：将mmgic目录下的configs文件夹全部拷贝到 apis文件夹下AttributeError: module 'torch' has no attribute 'frombuffer'     torch1.10.0后才有frombuffer，重新安装torch1.10.0解决：据说是因为torch版本和mmcv无法匹配所致，根据这个重新安装mmcv==2.0.0rc4依旧报错。
                                    在这个信息爆炸的时代，人工智能技术正以前所未有的速度发展，尤其是在图像和视频处理领域。作为这一领域的探索者，我们有幸见证了一系列令人惊叹的技术创新。今天，我将带领大家走进一个全新的世界——MMagic，一个融合了多模态、生成式和智能创造的先进AIGC工具箱。MMagic，全称Multimodal Advanced, Generative, and Intelligent Creation，是基于OpenMMLab 2.0框架开发的一款强大工具。
                                    探索MMAGIC：一个开放的多媒体魔幻工具箱
 mmagicOpenMMLab Multimodal Advanced, Generative, and Intelligent Creation Toolbox. Unlock the magic ????: Generative-AI (AIGC), easy-to-use APIs, awsome model zoo, diffusion model...
                                    通过学习和掌握MMagic的使用技巧，我们可以轻松地实现各种有趣的AIGC应用，并为人们的生活带来更多的便利和乐趣。然而，在使用MMagic的过程中，我们也需要注意合规性、隐私和安全等问题，确保技术的正确使用和可持续发展。通过学习和掌握MMagic的使用技巧，我们可以轻松地实现各种有趣的AIGC应用，并为人们的生活带来更多的便利和乐趣。通过条件生成，我们可以更精确地控制生成的内容，以满足特定的需求。开发者可以根据自己的需求，选择合适的模型作为基础，并进行进一步的训练和优化，以适应特定的应用场景。
                                    MMagic (Multimodal Advanced, Generative, and Intelligent Creation) 是一个供专业人工智能研究人员和机器学习工程师去处理、编辑和生成图像与视频的开源 AIGC 工具箱。MMagic 允许研究人员和工程师使用最先进的预训练模型，并且可以轻松训练和开发新的定制模型。这次加载的模型有点大，在我的电脑上居然跑不起，心态小崩。无条件生成对抗网络 (GANs)条件生成对抗网络 (GANs)还有许多其他生成模型即将推出！还有许多其他应用程序即将推出！
                                    ade20k 街景图像【数据集】及其【论文出处】ADE20K数据集是一个包含超过25000张图像的语义分割数据集，这些图像被密集注释，覆盖室内和室外场景。 它由MIT发布，包含100个事物类别和50个物质类别， 用于训练和验证的图像数量分别为20210和2000。 ADE20K数据集的特点包括丰富的场景多样性和详细的语义标注，使得它成为训练和评估语义分割模型的重要资源。 数据集组成： ADE20K数据集分为训练集、验证集和测试集，其中训练集包含20,210张图像，验证集包含2,000张图像。测试集的图像