不知道是否有人和笔者一样,曾经羡慕过神笔马良,倒不完全是因为这个人物正能量的一面,更多的是喜欢他的神笔。
直到后来意识到自己的手残,才发现即使自己有了神笔,估计也不会有太大的作用,而寓言故事里的马良,放在现在恐怕也是一个名震一方的太太(二次元圈子里对画师的尊称)。
但如今已经2021年了,这是一个科技的时代,技术正在改变整个世界,也在让越来越多对于特定人群而言的不可能,变为可能。
AI横扫二次元和三次元
11月22日,英伟达也在官网博客中宣布,之前曾经官方放出的AI绘画演示Demo,其背后的 AI已经升级到了第二代。用户只需要用几个文字,比如“沙滩上的日落( at a beach)”等,就可以通过AI生成一张相对真实的照片。并且在照片生成之后,用户甚至还可以通过文字进行修图,调整图片中元素的构成。
“在农场旁边的湖”,由制作
这种通过文字描述作图的AI,对于很多人而言,显然是更加直接易上手的创作工具,但可惜的是,英伟达的似乎并没有进行二次元或人物等方面的机器学习,目前该AI的适用范围还是以真实场景为主。
不过既然有类似于笔者这样的网友对二次元有直接的需求,就一定会有大佬在这一领域完成英伟达没有完成的工作。
在稍作了解后,笔者还发现了另一个与英伟达的 AI类似的项目“VQGAN-CLIP”,只不过不同于英伟达“文字生成照片”,且有着明显的限制,VQGAN-CLIP对文字的内容并没有过多的要求,生成的也不是照片,而更像油画,不过相对应的,在画面内容的精度上,VQGAN-CLIP也显得更加具有“艺术性”一点。
上图分别是笔者以“一个小男孩在圣诞夜打游戏(A boy video game in eve)”为关键词,在VQGAN-CLIP的 Face页面,分别让AI“迭代”了200次(左)和500次(右图,500次也是在线服务器的迭代上限)的成果,其中500次的画面中,圣诞树、客厅的布置、电视、游戏等元素都已经基本成形。
而由于英伟达的 AI无法生成人物,同样的关键词在英伟达的Deno中只得到了一个虚无的太空的图片。
不过笔者尝试的这种在线生成的方式显然不够发挥出VQGAN-CLIP的全部实力,在项目的 界面,有用户分享了自己在本地使用该工具的成果,在除了机器性能AI没有限制的情况下,VQGAN-CLI所声称的画面效果自然要好很多。
不过对于很多人而言VQGAN-CLI的成果可能“太过艺术性”,就在英伟达发文的前两天,冲上了趋势榜的前列的一款名为“”的“二次元项目”,可能更符合普通用户的胃口。整个项目的效果,虽然一眼看上去与抖音上前段时间流行的动漫滤镜极为类似,但在质量和对复杂场景的处理上,肯定要高级得多。
并且在上一众博主带上相关话题发帖造势的影响下,整个项目的热度高居不下,项目的 Face页面,排队的人数甚至一度超过了数千人。
守护姐夫的笑容,it’s so
上图便是在图片上的应用效果,目前该工具的 Face页面,在图片的转化上一共预设了两种风格。
不过和VQGAN-CLI一样,笔者这种在线的尝试可能因为网站服务器等原因,无法完全发挥出该工具的效果,以下是图片来自“-”这个 项目。
从结果来看,已经可以达到很多微博、QQ空间中很多 “收费画二次元头像”的业务水平了。当然的应用还不仅仅局限在图片这种形式,在官方的页面,甚至还有 在视频上的尝试。
虽然就视频中的表现,我们很难说它已经将真人电影转化成了动漫电影,在一些空境中更多的是像一种调色奇怪的滤镜,但这只是二代,未来的潜力难以预料。
生成对抗网络GAN
其实在今年年初,曾报道过日本科技公司 (后文简称PFN)旗下的团队开发的一套“全自动生成二次元老婆”的AI作画技术,用户通过简单地调整参数,就可以生成立绘级的人物形象了。
无论是、 还是英伟达的,而从他们的后缀中,不难发现,这三者的核心之一就是生成对抗网络(GAN, )。
所谓GAN,该方法由伊恩·古德费洛等人于2014年提出,整个系统由一个生成器与一个判别器组成。生成器的目的是让生成的数据骗过判别器,而判别器则是找出生成器做的“假数据”。生成器和判别器二者在互相博弈中进行学习。
而在GAN的技术之上,英伟达和湖北工业大学的的原作者都加入了更加复杂的系统,以实现语义识别、风格化等功能。
英伟达的 在单个模型中融合了分割映射、图像修复和“文本到图像(Text-to-Image)”,使其成为创建“真实”照片的强大工具。
而则结合了结合了 Style 和GAN,并且在的第二个版本中,团队还使用了LN(layer )而非IN( )来防止生成的图像中产生高频伪影。
生成器的网络结构 图片来源:
虽然对于非专业人士而言,这些技术都过于高深,即使和都有着明显的缺点,但对于普通网友而言,基于这些技术的一系列工具,可依然比B站UP主经常“恰饭”的美术速成课程有用多了。
英伟达基于的应用程序“ ”早在今年6月就已经正式上线免费公测,利用应用程序内的预设的数十种材料和风格,用户只需要绘制简单的线条,AI就会自动生成复杂的场景,甚至就连基本的光影效果都会随着用户的调整而改变,池塘中会有附近元素的倒影、在画面中加入雪花,整个场景就会来到冬季。