金保华 李艳 吴怀广

摘  要： 服装具有很强的组合搭配模式，用户很难判断其选择的衣服是否是一种较好的搭配组合，利用智能服装搭配技术对人类的搭配性概念建模，可以解决这个问题。由于服装搭配不仅涉及两件或两件以上的衣服，而且与个人偏好紧密相关，在深度学习背景下，服装智能搭配技术也不断地得到改善。通过对近几年文献的梳理，文章介绍了现在的服装搭配方法，并指出个性化服装搭配方法将成为未来的研究热点。

关键词： 服装搭配技术; 个人偏好; 服装搭配; 深度学习; 个性化

中图分类号：TP391.4          文献标识码：A    文章编号：1006-8228（2021）08-27-05

Overview on the outfit compatibility

Jin Baohua， Li Yan， Wu Huaiguang

（School of Computer and Communication Engineering， Zhengzhou University of Light Industry， Zhengzhou， Henan 450000， China）

Abstract： Clothing has a very strong combination and collocation mode， and it is difficult for users to judge whether the outfit they chosen is a good combination. Modeling the humans concept of compatibility with intelligent clothing matching technology can solve this problem. Because a compatible outfit not only involves two or more pieces of clothing， but also closely related to personal preferences， and in the background of deep learning， intelligent clothing matching technology has been constantly improving. By sorting out the literature in recent years， this paper introduces the current methods of clothing matching， and points out that the personalized outfit compatibility will become a research hotspot in the future.

Key words： clothing matching technology; personal preferences; outfit compatibility; deep learning; personalized

0 引言

服装在人们的生活中扮演着重要的角色，然而并不是每个人都有很强的时尚敏感度。随着深度学习的发展，用户可以借助服装智能搭配技术找到一套搭配的服装。根据中国服装协会发布的《中国服装行业发展报告》[1]中的网络服装销售数据增长22%，由于网络服装市场的快速发展，越来越多与服装相关的研究也随之展开，特别是服装搭配。如今用户的需求越来越个性化，如何根据用户的需求搭配一套搭配的服装，这是服装搭配技术面临的一项挑战。

本文主要对近几年的研究文献进行分析比较，在此基础上，对服装个性化搭配的研究前景进行了展望，旨在为从事服装搭配的研究者提供参考，以期望服装搭配方法能在学术界进一步的发展，为用户提供更好的搭配策略。

1 基于深度学习的服装搭配

服装具有很强的组合搭配模式，通过研究服装信息之间的交互行为等大量数据，从中深入挖掘服装之间的搭配规则。在服装搭配预测任务中，目标是产生一个服装搭配分数，它表示一该套服装的整体搭配程度。

1.1 成对的服装搭配

之前主要研究成对服装[2-4]。如图1所示，这些研究将服装映射到一个风格空间，并估计服装的风格向量之间的距离，以此预测服装之间的搭配度。例如，2015年McAuley等人[4]利用CNN提取服装的视觉特征并将其嵌入潜在空间，接着将成对服装在潜在空间的距离作为服装间的搭配性度量。Veit等人[2]对他们的方法进行改进，没有使用预先提取的视觉特征，而是使用端到端的siamese network来预测服装對之间的搭配度。类似的端到端方法[5]表明，联合学习特征提取器和推荐系统可以取得更好的效果。时尚风格的演变在服装搭配性中起着重要的作用，He等人[6]研究如何在推荐系统中采用以往的方法来构建时尚趋势的视觉演变模型。

服装匹配领域积累了各种有价值的匹配规则，某些匹配规则被公众广泛接受为常识，但在现有的研究中忽略了这些搭配规则。为此，山东大学Song等人[7]提出AKD-DBPR模型将先进的深度神经网络与丰富的时尚领域搭配规则相结合，为服装搭配研究提供启发。考虑到规则的模糊性以及不同规则对不同服装样本的置信度不同，本文在teacher-student网络[8]的基础上提出了一种注意力的知识蒸馏的神经相容性建模方案。

1.2 序列对的服装搭配

一些研究中没有考虑一整套服装的组成，2017年Han等人[9]把一套服装看作一个序列（如图2所示，通常从上到下，然后是配饰）和每一件衣服作为一个时间步骤。他们训练一个双向LSTM （Bi-LSTM）模型，在前一件服装的基础上顺序地预测下一件服装，以了解它们的搭配关系。他们主要通过将图像特征回归到其语义表示中来学习视觉-语义空间，以注入属性和类别信息作为训练LSTM的正则化方法。经过训练的网络不仅能有效地在前一件服装的基础上顺序地预测下一件服装，该训练的网络还能预测给定服装的相容性，Han等人在收集的数据集进行了广泛的实验，结果证明他们的方法优于其他方法。

1.3 图模型服装搭配

服装单独表示成一对或者一个序列并不能反映多件物品之间的复杂关系。并且序列表示中的顺序是不固定的。更重要的是，服装中物品之间的关系并不是有序的，因为服装在序列中不仅与其前面或后面的服装有关系。为了解决这个问题，Guillem[10]等人将服装表示为一个图，如图3所示，顶点代表服装信息，边连接搭配的服装对;然后用基于graph auto-encoder框架[11]来学习预测边，整个过程可以看作是将服装特征编码到一个新的空间，在这个空间中两点之间的距离可以映射为两点之间是否存在边的概率，从而预测服装搭配度。

2019年崔泽宇等人[12]提出用有向图表示服装，更好地反映服装中多件衣服之间的复杂关系。首先将一套服装用一个子图表示;然后使用提出的新模型NGNN来建模节点的交互，并学习节点的信息交互;最后，与Li[13]相似，通过使用self-attention[14]计算graph-level输出来预测搭配度得分。该方法可以从视觉/文本任何单一模态特征对服装的搭配性进行建模。

2 基于用户个性化的服装搭配

之前的研究[7，15-18]侧重于预测图像中衣服之间的搭配度，然而忽略了借助图像中可能提供的关键背景（例如用户的身体类型或季节）进行更准确的推荐。基于用户个性化的服装搭配方法是由研究者从场合、用户体型和用户喜爱三个方面进行研究。

2.1 基于场景的服装搭配

日常生活中存在各种各样的场景，例如：会议、婚礼、旅游等，场景不同，组成元素和氛围不同。Magic closet[19]系统中提出基于潜在支持向量机（SVM）[20]的推荐模型，将服装属性视为潜在变量。模型通过视觉特征-场合和服装属性-场合来描述穿着准则，而审美穿搭准则通过服装属性-服装属性来表示。它主要解决两种服装搭配场景：①根据用户指定一个场合，基于用户的相册给出合适的穿搭。②用户输入一个场合和单件服装，在线购物网站中出现服装与所给定服装搭配，同时也适合特定的场合。但是，人体检测精度极大影响该模型性能。

Yunshan Ma等人[21]提出了借助情境化的服装概念学习模块，获取场合、服装类别和属性之间的依赖关系。为了减轻人工标注的沉重负担，作者引入了一个弱标签建模模块，有效地利用机器标注数据。在实验中，作者贡献了一个基准数据集，并从定量和定性的角度进行了广泛的实验，证明本文的模型在时装概念预测方面的有效性，以及提取知识的有用性。

2.2 基于体型的服装搭配

一个重要的穿衣技巧就是根据自己的体型穿搭[22-23]，Shintami等人[24]通过研究那些被认为很有时尚感的名人的风格和身体尺寸，从而研究体型和服装风格之间的关系，并针对用户的基本身体属性，向用户推荐适合的着装。但是，他们在研究中忽略了存在任何与时尚基本规则不搭配的常见样式，那么推荐结果的可靠性可能会降低。为了改善之前工作的不足，2020年Chusnul[25]等人提出根据人体尺寸和时尚专家的知识两个主要前提建立风格推荐模型。利用网上的相关时尚知识规则，包括顶级时尚名人的着装风格和他们对应的体型尺寸，以及时尚专家针对每个体型推荐的服装款式。与之前的研究不同的是首先对名人的服装形象进行分类，以符合时尚专家设计的时尚风格规则，然后，作者研究基于深度多模态表示，学习服装款式和体型测量的联合嵌入。

之前主要研究受试者的体重与服装类别之间的关系[26]。以及Hidayati提出[24]的推荐系统，该系统根据名人已知的体型测量数据，发现哪些体型对哪些身材类型最重要。与上述两种方法相反，Wei-Lin Hsiao等人引入了ViBE[27]，一种视觉感知人体嵌入，捕捉不同体型的服装亲和力，该方法建议根据个人的体型选择特定的服装。此外，与Hidayati[24]不同的是，Wei-Lin Hsiao等人的方法处理的数据不仅限于时尚名人，还用于将推断出的体型作为输入。

2.3 基于个人偏爱服装搭配

现有的方法主要是从审美的角度对一般的服装-服装的搭配度进行建模，而没有考虑到用户因素。由于不同的人有不同的服装偏好，如何将用户对服装匹配的偏好无缝编码到服装之间的搭配模型中，使结果既满足常见的匹配模式，又能满足用户的个人品味是我们面临的一个挑战。

时尚领域的个性化推荐得到了极大的研究关注[28-29]。特别是在时尚领域已有的个性化推荐工作[30-32]主要利用矩阵因子分解（MF）框架，根據用户对真实数据集的反馈来建模用户偏好。例如，胡洋等人[31]提出了一个函数张量因子分解模型，旨在解决基于150个用户数据集的个性化服装推荐问题。虽然该方法在整体推荐中是有效的，但冷启动问题[33]仍然是一个值得进一步探讨的问题。He等人[30]引入了一种可伸缩的矩阵分解模型，该模型将服装的视觉信息纳入用户偏好预测器，以完成推荐任务。

2019年山东大学宋雪萌等人提出个性化的搭配性建模方案GP-BPR[34]，从总体美学和个人偏好的角度来解决个性化搭配建模的问题。该模型分别描述了服装-服装和用户-服装的交互。特别是，考虑到时尚物品的两种模式（例如，图像和文本描述）都可以传递用户偏好的重要信息，作者提出了一种综合的个人偏好建模方法。

3 结束语

服装搭配在电商平台以及用户日常服装搭配等方面都具用重要的意义.利用大数据对服装的搭配进行预测，既提高了预测结果的准确率，又缩减人工成本和设计周期。为服装销售市场和消费者提供服搭配建议，为加速服装产业现代化、信息化提供重要支撑。

本文通过对一些文献的梳理，目前简单预测服装与服装搭配性已经满足不了用户，未来的服装搭配中需要考虑更多的因素，以达到更好的个人化服装搭配。

参考文献（References）：

[1] 中国服装行业发展报告[J].中国服饰，2020.5：72

[2] Veit， A.， et al. Learning visual clothing style with

heterogeneous dyadic co-occurrences[C]. in Proceedings of the IEEE International Conference on Computer Vision，2015：4642-4650

[3] He， R.， C. Packer， and J. McAuley. Learning compatibility

across categories for heterogeneous item recommendation[C].in 2016 IEEE 16th International Conference on Data Mining （ICDM）.  IEEE，2016：937-942

[4] McAuley， J.， et al. Image-based recommendations on

styles and substitutes[C]. in Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM，2015：43-52

[5] Kang， W.-C.， et al. Visually-aware fashion recommenda-

tion and design with generative image models[C]. in 2017 IEEE International Conference on Data Mining （ICDM）. IEEE，2017：207-216

[6] He， R. and J. McAuley. Ups and downs： Modeling the

visual evolution of fashion trends with one-class collaborative filtering[C]. in proceedings of the 25th international conference on world wide web，2016：507-517

[7] Song， X.， et al. Neurostylist： Neural compatibility modeling

for clothing matching[C]. in Proceedings of the 25th ACM international conference on Multimedia. ACM，2017：753-761

[8] Hu， Z.， et al.， Harnessing deep neural networks with logic rules[J]. arXiv preprint arXiv：1603.06318，2016.

[9] Han， X.， et al. Learning fashion compatibility with

bidirectional lstms[C]. in Proceedings of the 25th ACM international conference on Multimedia.  ACM，2017：1078-1086

[10] Cucurull， G.， P. Taslakian， and D. Vazquez. Context-

aware visual compatibility prediction[C]. in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019：12617-12626

[11] Kipf， T.N. and M. Welling， Variational graph auto-

encoders[J]. arXiv preprint arXiv：1611.07308，2016.

[12] Cui， Z.， et al. Dressing as a Whole： Outfit Compatibility

Learning Based on Node-wise Graph Neural Networks[C]. in The World Wide Web Conference. ACM，2019：307-317

[13] Li， Y.， et al.， Gated graph sequence neural networks[J].arXiv preprint arXiv：1511.05493，2015.

[14] Tan， Z.， et al.， Deep semantic role labeling with self-

attention[J]. arXiv preprint arXiv：1712.01586，2017.

[15] 周楠，et al.，計算机辅助服装搭配系统的研制[J].现代丝绸科学与技术，2016.31（6）：208-211

[16] Li， Y.， et al.， Mining fashion outfit composition using an

end-to-end deep learning approach on set data[J]. IEEE Transactions on Multimedia，2017.19（8）：1946-1955

[17] Vasileva， M.I.， et al. Learning type-aware embeddings for

fashion compatibility[C].in Proceedings of the European Conference on Computer Vision （ECCV），2018：390-405

[18] Wang， X. and T. Zhang. Clothes search in consumer

photos via color matching and attribute learning[C]. in Proceedings of the 19th ACM international conference on Multimedia.ACM，2011：1353-1356

[19] Liu， S.， et al. Hi， magic closet， tell me what to wear！[C]. in

Proceedings of the 20th ACM international conference on Multimedia. ACM，2012：619-628

[20] Felzenszwalb， P.， D. McAllester， and D. Ramanan. A

discriminatively trained， multiscale， deformable part model[C]. in 2008 IEEE conference on computer vision and pattern recognition. IEEE，2008：1-8

[21] Ma， Y.， et al. Who， Where， and What to Wear？ Extracting

Fashion Knowledge from Social Media[C]. in Proceedings of the 27th ACM International Conference on Multimedia，2019：257-265

[22] 謝莉萍.基于不同体型的成年女性服装搭配技巧分析[J].

国际纺织导报，2019.47（12）：42-45

[23] 石敏，et al.，面向不同体型特征的服装款式迁移方法[J].图学学报，2019.40（5）：866-871

[24] Hidayati， S.C.， et al. What Dress Fits Me Best？： Fashion

Recommendation on the Clothing Style for Personal Body Shape[C].in 2018 ACM Multimedia Conference，2018.

[25] Hidayati， S.C.， et al.， Dress with Style： Learning Style

from Joint Deep Embedding of Clothing Styles and Body Shapes[J]. IEEE Transactions on Multimedia，2020.

[26] Sattar， H.， G. Pons-Moll， and M. Fritz， Fashion Is Taking

Shape： Understanding Clothing Preference Based on Body Shape From Online Sources[J]. 2019 IEEE Winter Conference on Applications of Computer Vision （WACV），2019：968-977

[27] Hsiao， W.-L. and K. Grauman. ViBE： Dressing for

Diverse Body Shapes[C]. in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2020：11059-11069

[28] He， X.， et al. Fast matrix factorization for online

recommendation with implicit feedback[C]. in Proceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval，2016：549-558

[29] Tran， T.， et al. Regularizing matrix factorization with user

and item embeddings for recommendation[C]. in Proceedings of the 27th ACM International Conference on Information and Knowledge Management2018：687-696

[30] He， R. and J. McAuley， VBPR： visual bayesian personalized ranking from implicit feedback[J]. arXiv preprint arXiv：1510.01784，2015.

[31] Hu， Y.， X. Yi， and L.S. Davis. Collaborative fashion

recommendation： A functional tensor factorization approach[C].in Proceedings of the 23rd ACM international conference on Multimedia，2015：129-138

[32] Sun， G.-L.， et al.， Personalized clothing recommendation

combining user social circle and fashion style consistency[J]. Multimedia Tools and Applications，2018.77（14）：17731-17754

[33] Brusilovsky， P.， A. Kobsa， and W. Nejdl， The adaptive

web： methods and strategies of web personalization[J]. Lecture Notes in Computer ence，2007.5：377-408

[34] Song， X.， et al.， GP-BPR： Personalized Compatibility

Modeling for Clothing Matching， in Proceedings of the 27th ACM International Conference on Multimedia. Association for Computing Machinery： Nice，France，2019：320-328

收稿日期：2021-05-26

基金項目：广东省教育厅青年创新人才类项目（2018KQNCX175）; 教育部科技发展中心高校产学研创新基金项目（2018A01002）

作者简介：张萍（1986-），女，山东青岛人，讲师，博士，主要研究方向：信息安全、电子取证、网络犯罪侦查。

通讯作者：何毅俊（1981-），女，湖南省常德人，讲师，博士，主要研究方向：信息安全、电子取证。