WorkBuddy自动操作PhotoShop软件设计电商详情页

0 评论 158 浏览 0 收藏 9 分钟

Agent能替人操作软件到什么程度?作者用刚上线Computer use的WorkBuddy实测:从授权录屏到兜圈子试错,最后靠脚本驱动Photoshop建图层、画元素,导出了带分层的PSD。步骤单一重复的活,交出去的路子跑通了。

今天要给大家演示的案例,很早之前老马就用Codex的Computer use能力实操过了。而最近WorkBuddy的5.11.3版本,也算是正式上线了Computer use能力,刚好就拿它来试试。

Codex效果确实更美观,但没关系

当然这里有个前提条件得说明一下,Codex的Computer use能力是AI圈内公认比较不错的,加上有GPT的模型能力和Image生图模型的能力,最终设计出来的电商详情页会美观很多。

但没有关系,老马今天主要是为了告诉大家,WorkBuddy上线的Computer use能力,已经可以让你用它来自动操作电脑上的软件,专业如Photoshop这种设计软件都可以的。

以后有时间,老马也会陆续演示WorkBuddy自动操作CAD软件,或者剪映,实现自动建模和自动剪辑视频之类的操作。应该说国内外的Agent软件之间的差距,目前最大也就是模型能力。

拿一架汽车来举例,Agent Harness这些软件工程就是车架子,哪怕是法拉利这种,越南老表也能用钢管和玻纤手搓个车架子出来。但发动机,就是模型,你要复刻就很难,国模跟外模的差距还有一两年。

什么样的活能交给Agent,原理是什么

那下面就废话不多说直接进入实操,这个案例还是有实际意义的,意义不在于说取代什么美工和设计师的岗位。按举一反三来理解,是不是以后有些传统软件的人工操作,可以交给Agent了。

特别是那种操作步骤比较单一,且重复的,完全可以让Agent写好脚本,通过Computer use能力去完成这些日复一日的工作内容。而我们只需要把电脑开着交给WorkBuddy,解放双手去摸鱼和喝咖啡,多好。

在开始演示之前解释一下原理,Computer use能力是可以通过系统的辅助功能和屏幕录制来对软件进行操作的,Mac系统是这样子,Windows系统本质也差不多。

有关Computer use能力的详细介绍,老马之前也写过一篇自动化的文章,感兴趣的可以回看一文带你搞懂WorkBuddy的自动化操作,只不过那个时候WorkBuddy还没上线这个能力。

那WorkBuddy通过Computer use能力去全自动操作Photoshop软件,跟之前演示过的操作Blender软件去3D建模一样。原理还是写脚本,然后导入到Photoshop软件去自动设计电商详情页。

升级5.11.3,打开电脑操控开关

所以我们先把WorkBuddy升级到最新的5.11.3版本,老马这里就以Mac电脑系统为演示环境。在WorkBuddy的设置里面,找到智能体,进入页面后就可以看到电脑操控的功能,目前还是测试版,打开开关即可:

下一步就可以在WorkBuddy新建一个任务,然后输入提示词,让它自动操作Photoshop软件,去设计一个叮当牌狗粮的电商详情页。这里老马并没有指定要用Computer use能力,但Agent会自动去调用的:

授权之后兜了圈子,找对脚本路线

提示词提交后,老马已经事先在电脑上打开Photoshop软件了,其实不事先打开也行,WorkBuddy也会去打开的:

WorkBuddy经过一顿思考后,发现系统还没有设置辅助功能跟屏幕录制的权限。这个时候就会弹出提示要求你去授权,当然Windows系统也可能会出现类似的授权提醒,老马没有实测过,你就根据提示去操作即可:

授权都搞定了之后,接下来WorkBuddy就会正式接手Photoshop去做电商详情页的设计工作了。这里还多提醒了一下,使用电脑操控Computer use能力,会产生积分消耗,我们点击确认:

这期间老马发现WorkBuddy在思考半天,还以为卡住了。点开深度思考的详情一看,发现它处于兜圈子试错的阶段,估计尝试了点击软件菜单不行,获取软件UI界面元素不行等多种操作了:

但好在最后它找对了自动化操作的路线,即通过编写AppleScript/JSX脚本直接驱动Photoshop建档与绘制。然后脚本写完导入之后很快Photoshop的画布上呈现了电商详情页的设计效果:

一股网页味,但导出的是PSD分层稿

当然,这里WorkBuddy并没有去调用它自带的imagen能力,来生成电商详情页的一些产品配图,比如狗粮包装配图,狗狗的配图等元素。如果生成了这些元素穿插设计进去,整个详情页的效果会好很多。

而现在这版的详情页,由于老马没有要求它生成配图元素去结合设计。所以最终呈现的效果,实际上是WorkBuddy通过把电商详情页写成网页代码的形式,再通过脚本去导入PS生成,所以一股子网页的味道:

因此后期是可以优化的,让WorkBuddy用imagen能力生成点配图。以及整体的电商详情页风格再改改优化一下,虽然现在是一股网页的味道,但最终导出的是实打实的PSD分层设计稿,不是网页的HTML代码。

咱们只是说它设计得像网页罢了,对比生图模型比较强的Codex来说,它本身靠image生图模型就能一键输出很不错的电商详情页了,所以也不需要用什么GPT模型去写网页代码去设计电商详情页。

有点绕,大家捋一捋,反正大概就是这么个情况,WorkBuddy目前自带的imagen生图能力,使用的生图模型应该是最新的Hy Image3.5,能力上肯定比不过GPT的image 2.5的,但又不是不能用,消耗的是WorkBuddy的积分。

写在最后

WorkBuddy的Computer use能力自动操作Photoshop软件,实现电商详情页解放双手一键设计生成的演示就到这里。至于美工跟设计师小伙伴未来该何去何从,只能说艺术素养这东西,被AI取代的可能性较低一些。

作者:马佳彬 公众号:马佳彬

本文由 @马佳彬 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自 Unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
海报
评论
评论请登录
  1. 目前还没评论,等你发挥!