程序员进修班
SpanMlt: A Span-based Multi-Task Learning Framework for Pair-wise Aspect and Opinion Terms Extraction风险知识图谱以及隐喻识别技术内容安全场景是一个数据低资源、知识高门槛的场景。在这种设定之下，仅仅通过纯数据驱动的方式很难有效识别出低频出现的风险内容。我们提出基于知识图谱技术的方法，实现对专家知识的结构化沉淀，并将结构化的知识图谱融入到深度学习模型中；让模型看到的不仅仅是字符串表面的意思，更能够集成丰富的语义关系以及字面背后的领域知识，从而使得模型具备更强的鲁棒性及可解释性。我们提出的一种隐喻实体链接技术，能够将刻意伪装的文本内容有效链接到风险知识图谱中的实体上，从而提升对变异违规内容的识别能力。该技术通过对原始文本内容进行实体遮罩与填充来获得影响风险实体指代的重构文本，学习得到隐喻文本与风险实体的指代关系，从而打破了原有实体技术必须基于显式指代词的限制，能够更加有效识别隐晦内容背后所指代的风险实体。该技术（《Towards Linking Camouflaged Descriptions to Implicit Products in E-commerce》）已被信息检索领域的国际顶会SIGIR 2020作为长文收录。
Towards Linking Camouflaged Descriptions to Implicit Products in E-commerce此外，我们参加了CCKS 2021 通用百科知识图谱实体类型推断竞赛。因为实体类型推断在知识库的构建和应用中具有非常重要的价值，因此该任务也一直是研究的热点。本次竞赛要求参赛者从给定的数据中推断出相关实体的类型，任务涉及的类型包括组织机构、人物、作品、位置等多个领域，共计54种实体类型，并且实体类型之间具有层级关系。我们基于Roberta模型，把标签进行层次化处理，并将层次化特征信息进行联合编码得到Label的低维表示，并通过Hierarchy Loss优化了分类标签所占的比重。最终我们的模型取得了0.8613的F1-score，从256支参赛队伍中脱颖而出，取得了第一名的成绩。「启发式领域适应」成果入选NIPS，提升模型迁移效果高精度的深度学习模型通常需要大量经过准确标注的训练样本，并且要求训练样本与真实样本满足独立同分布条件。与其它场景明显不同的是，安全场景具备两个典型特点：一是在很多情况下，风险或者违规样本的收集成本比较高，二是业务存在对抗和变异，其真实样本分布随着时间不断改变。因此，算法工程师需要利用小样本、迁移学习和增量学习等技术，来解决数据不充分情况下的模型训练以及数据分布随时间漂移情况下的模型迭代问题。此外，作为中台面临着多用户多场景问题，单一模型往往无法同时在多个场景中达到最优效果，因此高效解决不同内容域、风险域的识别问题成为当前内容安全的主要问题之一。我们将经典的「启发式搜索」思想融入到领域适应问题中，以解决数据不充分情况下的模型训练问题，进而将算法迁移到新场景中。比如，利用该研究提出的技术可以比较便捷地将各类内容安全算法从电商场景迁移至直播场景。相关论文（《Heuristic Domain Adaptation》）已经被人工智能领域顶级会议NeurIPS 2020（神经信息处理系统大会）接收。
Heuristic Domain Adaptation基于训练和预测任务一致性优化的图像分类算法风控场景中一个比较典型的问题是真实场景的风险浓度远小于1%，线上产品的指标通常使用FPR对应的TPR来衡量，而分类模型的训练则往往利用CrossEntropy来进行约束。采用ACC去衡量模型和产品交付的性能，但CrossEntropy等损失函数的优化在于最小化全类别的错误率，这种模型优化函数与业务评测指标的不一致，势必会导致算法优化结果与实际线上效果的不对齐。从最终使用方式和业务结果出发，我们针对优化函数进行改进，使得训练任务和业务模型任务保持了优化方向的一致性。阿里巴巴与中科院计算所合作的相关技术（《When All We Need is a Piece of the Pie: A Generic Framework for Optimizing Two-way Partial AUC》）已经被机器学习国际顶会ICML 2021以长文形式接收。
RAMS-Trans: Recurrent Attention Multi-scale Transformer forFine-grained Image Recognition多模态动态识别框架DRDF多模态问题并非只存在于复杂的图文混合内容或视频领域，单单一张包含文字的图片可能也会含有复杂的语义。在多模态领域过去很多研究工作主要集中在Early Fusion和Late Fusion上，我们发现对于不同的样本，其对应的图片和文本两个通道的重要性是不同的，因此需要根据不同的样本进行动态的权重选择（Experts Fusion）。本文将MoE（Mixture of Experts，多专家融合）的结构运用到多模态任务之中，灵活运用MoE中常见的路由机制，将其输出作为模态信息重要性判断的依据。DFDF框架的高度模块化也使得它在工业级别的应用上也具有很强的适配性和可用性。阿里巴巴和浙江大学联合研发的该项技术（《DRDF: Determining the Importance of Different Multimodal Information with Dual-Router Dynamic Framework》）已经被ACM Multimedia 2021接收，并被广泛应用于针对富含文字语义的图片（如表情包、短视频封面图、商品宣传照等）进行内容理解和安全识别。
DRDF: Determining the Importance of Different Multimodal Information with Dual-Router Dynamic Framework高效分类技术助力图像识别建模效率提升小样本学习是在安全场景常用的技术之一，因为高价值的风险图像样本往往难以收集。ECCV 2020 VIPriors挑战赛最困难的一点，是1000个数据类别中，每个类别仅有50张图片作为训练数据；参赛者的模型，必须能在这种训练数据极少的情况下，实现对于目标的高精度识别分类。挑战赛的初衷，就是鼓励探索能够高效学习的AI神经网络架构，降低神经网络训练过程中的人力标注成本和计算资源消耗。在分类赛道上，比赛数据基于ImageNet抽取，1000个类别中的每个类别仅使用50张图像，训练集共5w张图片，规模仅为Imagenet的1/26。比赛规定模型只能train from scratch，不能使用额外的训练数据，不能使用预训练模型，不能使用迁移学习，排名以测试集上的Top-1 Accuracy为准。通过一种新型设计的残差网络结构、一种综合类间差异性和类内相似性约束的损失函数以及引入树状语义先验等方法，阿里安全的算法团队获得了图像分类赛道的第一名。基于此技术的增强和改进，我们提出了一种“基于混合专家模型MoE（Mixture of Experts）知识融合的高效图像分类方法”，以top-1 acc 75%的优异成绩再次夺得ICCV 2021 VIPriors图像分类赛道冠军。
QAIR: Practical Query-efficient Black-Box Attacks for Image Retrieva一种更加隐蔽的对抗样本及生产方法之前对抗样本的生产方式是在原始图片上加入人眼不可见的对抗噪声，从而使得模型识别结果出错。这类对抗样本中其实包含了原始图片的所有信息，因此理论上来说都无法抵挡图像预处理等防御手段。这也促使我们从一个相反的角度（即“做减法”）去重新思考对抗样本的不可感知属性。具体来说，这种攻击手段的独特之处在于我们并不直接对图片添加对抗扰动，而是通过优化量化表来实现信息丢失的操作。传统基于“做加法”的对抗攻击，模型用于识别图片的关键信息并没有丢失，只是被对抗噪声隐藏或弱化了，如果采用适当参数的去噪手段将导致增加的对抗噪声被去除或减弱，使得关键信息依然能够被模型提取，从而达到防御（至少是部分防御）的目的。我们这种基于信息丢失的方法所生成的对抗样本，由于已经将模型识别的关键信息丢弃了，因此常规的策略很难对这些信息进行恢复，很大程度上增加了对抗防御的难度。该技术（《AdvDrop: Adversarial Attack to DNNs by Dropping Information》）被计算机视觉领域的国际顶会ICCV2021收录。
AdvDrop: Adversarial Attack to DNNs by Dropping Information探索真实物理世界的对抗样本攻击此前针对AI模型的安全问题，大部分研究工作主要聚焦在生成对抗样本。对抗样本作为一种非自然的人为添加的恶意干扰，可以使AI模型发生特定错误。然而，经我们研究发现，攻击AI远非需要人为去制造对抗样本，只需简单使用激光笔，就可以让AI模型不再有效。在这个工作中，我们设计了一种算法，可以模拟光束对AI模型的攻击效果，并在现实世界中得到验证。此外，我们也在大型数据集上做了广泛的分析，进一步探究其攻击的机理。我们的攻击方法也揭示了之前深度学习没有被研究过的弱点。例如，当将不同频谱的光束打在同一个物体上时，对于模型来说，局部变成紫色的刺猬等同于苜蓿。而光束本身形状对于模型也具有特别语义，例如拖把。该技术（《 Adversarial Laser Beam: Effective Physical-World Attack to DNNs in a Blink》）被计算机视觉领域的国际顶会CVPR 2021收录。
Adversarial Laser Beam: Effective Physical-World Attack to DNNs in a Blink提出自动化AI对抗平台CAA为帮助AI应用从零开始构建安全防线，我们整理归纳了学界针对AI模型提出的32种攻击方法，以此为基础搭建了自动化AI对抗攻击平台CAA（Composite Adversarial Attacks），帮助检测AI应用存在的安全漏洞。AI安全专家可针对被检测AI的弱点和缺陷提出安全建议，帮助提升系统的鲁棒性。该研究成果（《Composite Adversarial Attacks》）被人工智能顶会AAAI 2021接收。横向对比业界的其它工具箱，我们的自动化对抗攻击平台首度实现对抗攻击的工具化，能够让使用者在没有任何专业领域知识的情况下，针对AI模型进行对抗攻击和鲁棒性测试。除此之外，CAA通过自动化搜索技术来合成多个攻击算法的最佳组合，显著提升了现有攻击性能和效率。论文通过详细的实验和数据表明，CAA超越了最新提出的攻击方法，是威胁当前AI系统安全的最强攻击之一。
Composite Adversarial Attacks联合发布全新测试基准平台清华大学、阿里巴巴、瑞莱科技在第三届智源大会上正式对外发布了新一代对抗测试基准平台。该平台的代号是ARES，全称是Adversarial Robustness Evaluation for Safety，旨在为全球AI安全和对抗的研究者提供客观公正的指标评测服务。在CVPR 2021对抗竞赛期间，ARES通过在线接入评测的方式支持了白盒对抗攻击竞赛，全球1600多支代表队的选手们在该平台上提交了接近2000个攻击算法，其中超过主办方提供评测基线的高质量算法有一百多个。ARES平台不断迭代更新业界的优质算法，也集成了CVPR 2021人工智能攻防竞赛中排名前五的攻击算法，以及清华大学和阿里安全的各项最新SOTA成果。
Adversarial Robustness Evaluation for Safety可信AI负责任和有温度的AI技术实人认证产品安全性通过权威认证由于行业技术发展水平参差不齐，一些生物识别技术存在安全性争议。由阿里安全研发的实人认证产品在2020年通过了国际权威联盟FIDO的认证，阿里成为国内首家通过该认证的公司。作为国际知名产业联盟标准组织，FIDO对阿里此次认证水平和测试对象的性能指标等都提出了非常高的要求。如在人脸辨识项目中，FIDO要求整个产品的误识别率（FAR）要小于0.01%，以此保障识别的安全性，如1万个测试对象故意刷脸攻击某个用户人脸，每人尝试刷脸至少5次，仅允许1次被误识别为此用户。FIDO还要求错误拒绝率（FRR）必须小于3%，以保障用户体验，即用户本人刷脸100次，必须保证至少97次能通过。除FIDO外，实人认证产品也通过了银行卡测试中心（BCTC）的金融级测试认证，标志着我们的能力达到了金融支付级安全标准。就在今年四月份，中国信通院“可信人脸应用守护计划（简称护脸计划）”召开2022年度第一次全体成员大会，正式公布“护脸计划”专家委增选名单以及第二批人脸识别安全专项评测结果，阿里巴巴实人认证V4.0方案在人脸识别安全专项中获评优秀。
Sharp Multiple Instance Learning for DeepFake Video DetectionDeepfake生成技术的多样性，给深伪检测带来了很大的困难，如何提升检测的泛化能力变得尤其重要。我们从神经网络的基本Operator出发，研究生成图像和自然图像之间的差异，从而来提升Deepfake检测模型的泛化能力。通过理论推导发现，相位谱对UpSampling的操作比幅度谱的敏感度更高，一般的生成模型在其Decoder Block中基本都存在一些UpSampling，所以通过引入相位谱检测，可以在Deepfake的跨库检测上取得相当不错的性能。由阿里巴巴与中国科技大学联合研发的该项技术（《Spatial-Phase Shallow Learning: Rethinking Face Forgery Detection in Frequency Domain》）在计算机视觉领域的国际顶会CVPR 2021发表，也作为深伪检测方面的代表性工作被斯坦福发布的《2022人工智能报告》所引用。
Spatial-Phase Shallow Learning: Rethinking Face Forgery Detection in Frequency DomainCIKM最佳应用论文，图卷积网络过滤水军信息在闲鱼、淘宝等APP上存在的垃圾信息不仅会影响正常消费者的体验，也容易诱发欺诈、刷单等恶意行为，因此需要对垃圾评论进行有效的治理。在真实的垃圾评论识别场景中，风控系统和网络水军之间存在着激烈的对抗，我们需要使用更加多维度的信息识别变异的垃圾评论，提升黑产的对抗成本。与以往仅仅基于语言模型和统计特征的方法不同，我们提出的GCN-based Anti-Spam(GAS)系统，首次将图卷积网络（Graph Convolutional Networks）引入该领域，并且创造性地引入两个不同结构的图并进行融合以捕捉不同语义信息，大幅提升了系统对变异垃圾评论的识别覆盖率。阐述该技术的论文（《Spam Review Detection with Graph Convolutional Networks》）被国际学术顶会ACM CIKM 2019收录，并被评为最佳应用论文，被引用次数已达近百次。
Spam Review Detection with Graph Convolutional Networks推出基于服饰理解的区域检索技术，打击盗版侵权，守护百万商家的知识产权服饰类等柔性物体的相似性度量和检索一直是业界难题，但对于平台上的假货和侵权识别又是至关重要的能力。阿里安全在CVPR 2020的Oral论文（《Which is Plagiarism: Fashion Image Retrieval based on Regional Representation for Design Protection》）中，提出基于服装区域性表达的检索模型，对图像中的服装进行区域化的相似性学习和度量，检索效果显著提升。在现有服装检索任务基础上，提出了一个新的「盗版服装检索」研究任务，建立了针对该任务的数据集，并给出了系统性的解决方案，有效提升了「盗版服装图像」的检索效果。同时，所提出模型在服装关键点估计和同款服装检索上的性能也处在领域内前列。该工作将赋予阿里巴巴原创保护平台更加强大的侵权检测能力。
Which is Plagiarism: Fashion Image Retrieval based on Regional Representation for Design Protection创新AI虚拟模特产品，由堵及疏解决盗图侵权问题，帮助中小商家减少上新负担优质内容的生产对商家来说很重要，但成本也非常高，许多小商家难以负担，这也会在一定程度上催生和加剧侵权盗版问题。AI模特利用创新算法技术在目标人脸模块基础上，生成成千上万种五官组合，这样就能得到全世界独一无二的虚拟人脸；同时利用算法技术将服装平铺图转化成3D图“穿”在模特身上。商家在上传服装平铺图后，还可以自主选择不同的人脸、表情、妆容、身型、背景图等，为相应的服装进行搭配，从而形成自己特定的拍图风格。为了提升效果和逼真度，项目组团队也与北京服装学院进行合作，通过使用专业动捕设备来记录真正的模特形态和动作，用真实数据“加持”虚拟模特，力求最大程度的还原。该方案的一大亮点是低成本和便捷性，相比以往的3D人体重建往往需要多个摄像头或者连续的多帧影像，现在只需要商家提供一张平面图片，就可以生成专属的虚拟模特供商家使用。安全性是该方案的另一大特色，我们通过不可见的数字水印和虚拟人脸版权库来保证不被侵权盗用。虚拟模特“塔玑”在帮助数以万计的中小商家减少上新成本和缩短上新时间方面，发挥了重大作用；特别是对于疫情期间极为稀缺的外模、童模，起到了很好的替代作用。产品方案详见：https://yc.alibaba.com/#/targetFace
阿里巴巴虚拟模特项目 —— 塔玑挑战者计划：科技强国，青年强国，乡村人才振兴为鼓励基础学科发展和为社会培育算法和安全人才，AAIG每年设立百万元的奖金池，历经三年打造了九场人工智能与安全领域的顶级系列赛事。截止2021年底，“挑战者计划”已经吸引了全球超过26个国家和地区、900所高校以及企业在内的40000支队伍参加。通过和IJCAI、CIKM、AAAI、ACM MM、CVPR、ICME等国际知名学术顶会联合举办Workshop和Challenge，我们提出工业界现实的算法难题，分享阿里多年沉淀的经验和知识，并与全社会和全行业共同探讨人工智能的未来。在2021年1月启动的CVPR白盒防御以及无限制对抗竞赛中，我们公布了业界最全面、完整和公正的对抗测试基准平台（Adversarial Robustness Evaluation for Safety）；在2021年4月举办的ACM MM电商标识检测鲁棒性防护竞赛中，我们开源了业界最大的商标识别数据集；2021年12月23日，我们与清华大学人工智能研究院联合举办了“第三届AI与安全研讨会”，和各行各业的专家共同探讨人工智能算法的治理和可持续发展。既有对“更安全可信可靠的人工智能”的技术追求，亦有“凡有鸿鹄志，我们助力其乘风上青云”的社会责任，这也是AAIG成立的初心。总结最后还想说明的一点是，建设真正可持续发展的人工智能，是一个跨多学科、综合性强和智力密集的复杂工作，今天人工智发展所面临的难题，单凭一家企业、一所高校或是一个机构是不可能独立解决的。作为科技企业，我们重视人工智能的发展，也重视人工智能的安全与治理。未来我们将会继续秉持可持续发展的原则，大力投入可用可靠可信技术的研发，积极探索发展与治理并重的敏捷实践，始终如一地坚持负责任和有温度的科技方向。技 术 好 文??技术抉择：阿里云13年后重构全部核心调度系统??异步任务处理系统，如何解决业务长耗时、高并发难题?Dubbo-go-Mesh 开启新一代 Go 微服务形态如何开一场高效的迭代排期会企 业 案 例?? 企业上云｜数字化转型经验分享阿里云主长春：助力“专精特新”，数字科技陪伴企业成长云钉低代码新模式、新能力、新机遇推文科技：AI 解决方案助力内容出海
