Facebook研究显示AI工具可改善在线服装购物

发布时间：2020-06-16 16:11:07 【来源：】

在5月的同一周，Facebook宣布了Shops，这是企业为Facebook，WhatsApp，Messenger和Instagram上的客户建立在线商店的一种方式，这家科技巨头详细介绍了其电子商务体验背后的AI和机器学习系统。Facebook表示，其目标是有一天开发一种助手，该助手可以即时提供产品推荐，并且可以通过分析一个人衣橱中的图片来学习喜好，同时允许该人在自家复制品上尝试新商品并出售服装其他人可以预览的

2020年计算机视觉与模式识别会议(CVPR)接受了一系列由Facebook发表的论文，这表明该公司正在开发此助手的组件。一篇论文描述了一种算法，该算法可以发现并量化来自世界各地拍摄的图像的时尚影响。另一个演示了一个AI模型，该模型可以从单个图像生成人的3D模型。第三个提出了一种系统，该系统可以捕获服装与不同身材的亲和力。

像Facebook Marketplace这样的电子商务企业都依靠AI来自动执行许多幕后任务，从学习偏好和身体类型到了解可能影响购买决策的因素。麦肯锡(McKinsey)估计，最近部署了AI处理传入购物者查询的亚马逊(Amazon)通过其产品推荐引擎产生了35%的销售额。除了排名之外，来自ModiFace，Vue.ai，Edited，Syte和Adverity等初创公司的AI使客户可以虚拟尝试口红的阴影，查看各种尺寸的模型图像，并随时间发现趋势和销售情况。

发现时尚风格的影响

正如Facebook AI Research的工程师在其中一篇论文中指出的那样，人们穿着的衣服不仅取决于舒适性，品味和场合等因素，而且还受到更广泛和更微妙的影响，例如社会规范，艺术，政治，名人，风格标志，天气以及某人居住城市的“气氛”。因此，定量确定时尚的影响仍然是一个棘手的挑战。

然后，Facebook研究人员建议在大型照相馆中发现影响模式，并利用这些模式来预测风格趋势。德克萨斯大学奥斯汀分校的合著者Kristen Grauman和Ziad Al-Halah在论文中写道：“我们认为图像正是回答此类问题的正确数据。”“与供应商的购买数据，其他非可视元数据或高级时装设计师的炒作不同，人们在日常生活中所穿衣服的日常照片可以一览无余地了解'地面上'的当前服装款式。”

这种新颖的方法始于从未标记，地理位置和带有时间戳的人的图像中提取视觉样式的词汇。(研究人员来自GeoStyle，这是一个来自Instagram和Flickr的，覆盖了44个城市的770万个人的图像集)。每种样式都是检测到的视觉属性的混合;例如，一个人可能捕获鲜艳色彩的短碎花连衣裙，而另一个人可能捕获预备领衬衫。记录了样式流行的过去轨迹，以帮助识别时间优先和新颖性，其中“时间优先”是指城市的时尚在观察到的影响之前发生变化的时间。然后，通过统计量度来计算城市之间的影响程度，而AI模型则利用摄影关系来预测未来任何位置的流行风格。

在实验中，研究人员利用属性预测来代表每张照片具有46种属性(例如颜色，图案和服装类型)，并基于这些知识学习了50种时尚风格。对于每种样式，他们使用上述AI模型在数周的时间内推断了其在各个城市的流行轨迹。

研究人员说，研究结果揭示了时尚趋势在世界范围内的传播，揭示了(1)哪些城市在其他城市上发挥了作用并受到了更多的影响，(2)哪些城市对全球趋势的影响最大，(3)导致了时尚的突出。给定风格，以及(4)城市本身的影响程度如何随时间变化。例如，他们的方法发现：

巴黎和柏林等时尚中心对多个城市产生影响，而同时又受到少数城市的影响。研究人员称，巴黎仅在米兰的影响下影响了欧洲的四个城市，而雅加达等城市则与马尼拉具有一对一的影响力关系。

虽然一些城市(如伦敦和里约)随着时间的推移保持稳定的影响力，但其他城市(如奥斯汀和约翰内斯堡)却表现出积极的趋势，并且随着时间的流逝越来越受到时尚界的影响。

在某些时尚风格中，有两个城市对它们具有一定的影响力垄断权，而另一些城市则几乎受多个城市的统一影响。例如，首尔和曼谷强烈影响六种全球时尚风格，而马尼拉和雅加达仅对它们稍有影响。

共同作者写道：“我们的发现暗示了计算机视觉如何有助于使我们对时尚影响力的理解民主化，有时会挑战人们对世界上哪些地区在推动时尚的普遍认识。”“此外，我们证明，通过合并影响力，…预测模型可为预测样式的未来流行度提供最新的准确性。”

3D人效果图

Facebook的第二篇论文提出了一种AI技术，用于生成穿着衣服的人的3D模型，这可能成为将来由Facebook驱动的时尚助手的核心。该系统-人造衣的动画重建(ARCH)-使用户不仅可以站立，站立，而且可以在各种环境和光线下走路，坐着和蹲伏时，看到他们穿着各种姿势的服装的样子。

ARCH是一个端到端框架，可从单一视图重建“动画就绪”的3D衣服。预测组件可以推断出身体的姿势和形状，从而允许系统通过对身体表面周围的点进行采样并分配“肤色权重”来定义语义空间和变形场，这些“肤色权重”分别影响着衣服部位的变换。(语义空间由数以万计的3D点组成，其中每个点都与支持渲染的语义信息相关联，而变形字段由实际完成渲染的数学运算表示。)然后，学习一个数学函数，该函数可实现装配了诸如皱纹，发型等更多细节，以用作可动画化的化身。

在实验中，研究人员使用来自开源RenderPeople数据集的275次3D扫描和来自AXYZ的207次扫描对系统进行了训练，总共获得209,520张图像。他们通过将相机绕垂直轴旋转1度来生成360度图像，然后使用38个环境贴图在不同的自然光照条件下进行扫描。

共同作者报告说，他们的模型在实验中的表现优于几个基准，对看不见的部分(如头发和衣服的背面)以及裤子，衬衫和鞋子等东西上较大的皱纹和接缝产生了“合理的”预测。这不是完美的-他们说训练数据集中没有充分覆盖“稀有”姿势会影响ARCH的准确性，但是他们计划在以后的工作中继续改进它。Facebook Reality Labs的相关研究已经成功地生成了比以前更详细的穿衣服的3D重建图像。

多种体形的敷料

脸部形状在确定哪种服装最适合某个人方面起着重要作用，Facebook研究人员在第三篇论文中写道，然而当今的服装推荐方法采用“一种形状适合所有人”的方法。为了解决这个问题，研究人员和合著者介绍了视觉身体感知嵌入技术(ViBE)，该技术旨在根据给定的人像识别出能使特定身材更帅的服装。

该团队首先从网上购物网站Birdsnet收集数据集，该数据集提供了大多数时尚风格的各种尺寸(澳大利亚尺寸为8至18)。每个项目都由具有不同身体形状的多个模特穿着，并包含服装的正视图和后视图以及该模特的图像，其身体尺寸和文字说明。.

在收集了跨越68个时装模特的总共958件连衣裙和999件上衣之后，研究人员使用了预先训练的模型来从目录图像中提取视觉特征，从而捕获衣服的整体颜色，图案和轮廓。他们在所有描述中使用所有描述中最频繁出现的单词来构建属性词汇表，然后为每件服装获得了一系列二进制属性，这些属性捕获了局部的和微妙的属性，例如特定的领口，袖口和织物。最后，他们从每个图像中估计出一个3D人体模型，以捕获细粒度的形状提示。

研究人员还开发了一种自动方法，可以根据人们的体形向他们推荐衣服。它将受试者的身体形状映射到学习的表示中，并利用训练有素的模型，将最接近和最远的400件衣物作为最适合和最不适合的服装。

在实验中，对于苗条的受试者，ViBE建议使用合身或喇叭形的短裙，以显露腿部。对于身材娇小的人，它发现最合适的属性是腰带和帝国风格，可以使人看起来更高，以及刺绣和荷叶边可以增加体积。对于弯曲的身体形状，ViBE预测最合适的属性是覆盖手臂的延长或3/4袖子，产生延长的苗条外观的V领，以及定义腰部的包裹或侧裂，同时揭示大腿周围的曲线。.

ViBE-以及ARCH和时尚影响力预测因子-似乎是迈向Facebook时尚助手的有意义的一步。但是从先前的陈述来看，该公司预计必须在语言理解，个性化和“社会第一”体验方面取得进步，才能真正实现具有预测性的风格助手。

该公司在一份声明中说：“我们设想一个未来的系统，可以……将您朋友的建议纳入博物馆，饭店或全市最好的陶瓷类中，使您可以更轻松地购买这些类型的体验。”先前的陈述。“我们的长期愿景是构建一个多合一的AI生活方式助手，该助手可以准确搜索和排名数十亿种产品，同时根据个人喜好进行个性化设置。相同的系统将使在线购物与在现实生活中与朋友购物一样具有社交性。更进一步，它将推进视觉搜索以使您的实际环境可购买。如果您看到喜欢的东西(衣服，家具，电子产品等)，则可以对其进行拍照，然后系统会找到确切的物品，以及从那时到那里都可以购买的几种类似物品。”

上一篇：英特尔提出硬件解决方案以应对人工智能的挑战
下一篇：您需要了解的有关珍珠六月的诞生石和5件高珠宝作品的启发