2024云栖大会AI应用标杆，Motiff妙多分享业界领先AI生成UI技术实践
- 详细资料
- 分类：赛事资讯
- 发布于 2024年9月20日 星期五 07:04
用户只需要输入一段话，20秒左右，就能生成两版UI设计稿……9月20日，在云栖大会现场，Motiff妙多研发负责人樊锴演讲分享了AI生成UI功能的最新进展及开发历程，强调尽快找到TPF(技术产品契合度)、重视数据积累、完善后台开发体系，都是AI功能落地的关键因素。
Motiff妙多研发负责人樊锴演讲现场 生成式AI是2024年云栖大会最受关注的议题之一，Motiff妙多AI生成UI功能的落地，标志着设计工具从效率工具向生产力工具的转变。“我们希望 Motiff妙多不止于设计领域的 Copilot， 更能成为 Autopilot，能直接完成日常设计任务，甚至生成完整的设计稿。”樊锴表示。
Motiff妙多于今年6月面向全球发布，开创了界面设计领域的多个AI功能。开发全球领先的AI功能面临诸多技术挑战：如何让AI成为真正可用的生产力、创作兼具逻辑性和艺术性的UI设计稿?大模型的能力边界在哪、如何扬长避短?樊锴在演讲中详细分享了背后的工程难点和经验。
Motiff妙多能生成用户所需的各式各样的界面，生成的设计稿还可在Motiff妙多的编辑器中不断调整优化。 锁定应用场景，加速达成技术产品契合度
在AIGC领域，不同于常见的文本生成或图片生成任务，UI 生成非常独特。这是因为UI设计既需要保证严谨的产品逻辑，又要具备像素级的精确程度，还要兼具美观的视觉效果。这对技术能力提出了相当高的要求。
AI生成UI可由AI从零开始创建所有页面内容，这背后有多种技术路径，但生成效果均不理想。樊锴举例称，基于扩散模型的文生图技术可以生成设计图片，但在像素级别的布局控制和内容生成能力上相对欠缺。另一些方法，如生成HTML网页代码再转为设计稿，同样面临细节处理能力不足的问题。
对于AI应用来说，尽快找到TPF(技术产品契合度)尤为关键。“相比于传统软件开发，AI应用的底层技术不确定性高，战略上用户需求驱动，但在战术上产品设计严重依赖于技术可行性。”樊锴在会上表示，关键在于尽快找到最有可能被实际使用的场景，更早得到用户反馈。
生成一张设计稿，需要兼顾整体结构、页面内容和UI细节三大方面。设计稿需要包含导航栏、搜索框、内容列表等模块，并匹配合适的文字、图片、图标等内容，同时呈现良好的视觉效果。通用大模型普遍擅长生成整体结构和页面内容，但对于 UI 细节控制还有所不足。
因此，为大模型寻找合适的任务成为解决问题的关键。“让大模型专注于其擅长的领域，即生成页面的整体结构和内容。在细节把控上，通过预定义的组件库来保证美观。”樊锴表示。组件库是大量组件和设计规范的集合，基于组件库的生成方案也更容易支持自定义组件。这不仅能够覆盖大部分UI设计场景，还能满足用户对个性化和灵活性的需求。
这也是面向未来的技术方案。“随着软件开发的成本降低，未来应用场景会更个性化，也需要更灵活的交互设计，信息庞杂的交互设计页面反而会减少。”樊锴判断。
筑成数据护城河，率先实现设计Autopilot
即使是基于组件库的方案，现有通用大模型仍难以生成高质量的UI设计稿。这是因为通用大模型并不擅长UI设计，也难以理解组件库。为了呈现多样化的效果，组件库包含大量不同类型的组件。以列表为例，就有上百种相似的样式，通用大模型难以分辨其细微差别。
“核心还是在于让大模型充分理解UI设计，需要有专门的领域大模型。“樊锴表示。Motiff妙多近期正式发布了其自研的国内首个UI多模态大模型，经过大量UI领域的优质数据训练，该模型在多个UI任务表现上显著超越GPT-4o等通用大模型，能灵活地根据上下文理解界面元素，达到“设计专家”水平，最接近人类对UI界面的理解和表述结果。
在自研大模型加持下，Motiff妙多有效结合了自研大模型的生成能力和组件库的表现力，在多轮行业盲评中取得了第一的生成效果，优于此前业内领先的AI生成UI工具Galileo AI、设计工具Uizard和文生图工具Ideogram。
输入同样的提示词生成世界杯预赛界面，Motiff妙多生成的两版设计稿盲评第一
Motiff在AI生成UI功能中取得的成功，还得益于长期的专业数据积累。“未来，数据是最重要的护城河。“樊锴表示，“随着大模型能力不断增强、成本不断降低，专业数据将成为更稀缺的资源，为AI应用的质量提供坚实保障。”
在开发AI功能的工程实施中，Motiff妙多积累了宝贵的经验。对于大部分复杂任务，Motiff妙多发现Flow Engineering(流程工程)比Prompt Engineering(提示工程)更为有效。相比于单次模型调用的黑箱运行，FLow Engineering将任务分解为多个步骤，实现整体功能的协同，对团队协作和工程化更为友好。
为了更好地应对AI应用开发中的不确定性，Motiff妙多搭建了一个高效的实验平台。平台不仅支持便捷地定制流程和参数，还能详细记录实验的中间结果，从而帮助团队快速尝试和迭代。
目前，Motiff妙多AI生成UI功能在指令遵循和设计美观性上均处于行业领先水平，并在海外社交媒体引起大量讨论。樊锴在会上透露，Motiff妙多还将持续迭代技术方案，有望于年内发布新的AI功能。