神马搜索开户平台的智能投放框架，让营销物料更具个性化

一、前言

在深度学习、大规模数据处理能力和云基础设施迅猛发展的推动下，CV网络的发展日新月异。除了CNN框架沿着AlexNet->VGGNet->ResNet->ResNeXt的路径演进外，Transformer框架从NLP跨界到CV，取得了显著的成果。ViT网络基于Transformer在千万/亿级样本上进行学习，以“简单”、“效果好”、“可扩展性强”等特点，成为了大模型主干网的通用范式。

神马搜索开户系统进一步将多标签分类算法的主干网升级为ViT框架，并从两方面进行改造优化（下图为多标签分类算法网络示例）。

一方面，纳入空间注意力学习图像块的重要性，并以残差结构来有效融合图像整体表达和图像块局部表达，实现了对图像中主目标和小区域目标都能精准识别的效果。另一方面，纳入AdaptFormer网络，只精调AdaptMLP子网络，其他部分冻结，以很低成本（学习参数量小于整体2%）达到和全参数精调相当甚至更好的效果。

基于上述设计构建网络和训练模型，基于测试集评估效果(如表1所示)。主干网从CNN升级到CLIP ViT-B/32，mAP和F1提升显著；纳入AdaptFormer后，只精调少量参数，效果超过了全参数精调方案；基于残差融合图像整体表达和局部表达，效果有进一步的提升。最终模型版本，评测集上mAP 0.953精确率95.9%召回率91.3%。目前打标算法已经上线广告系统，覆盖了50%左右展现。下图为：多标签分类算法各版本评估效果。

二、未来展望

基于AI精细化理解广告物料，对富媒体化趋势下的智能投放有着重大的价值。在物料视觉表达/签名的基础上，后续将进一步生成多模态上的统一表达，构建物料/广告/广告主的多层次表达。广告物料的结构化理解走出了第一步，后续将不断扩充图像标签体系，持续提升图像标签的准召率、覆盖率和丰富度；针对比例和重要性不断提升的视频物料，大力建设视频标签体系和多标签分类算法。随着物料理解的不断深入，富媒体环境下的投放基础设施将更为完善，为构建全智能、全自动、全场景、全效果保障的营销引擎打下更为坚实的基础。

基于扩散模型的图像/视频生成技术取得了令世人瞩目的进展，为物料制作提供了新的想象空间。基于在扩散模型和众多CV/NLP前沿算法上的研究和沉淀，神马搜索开户平台将构建智能营销AI创意实验室，以创新型产品的形式，为广告主提供灵感激发、素材自动生成、智能创作、新潮特效等服务，满足广告主自动化、智能化、个性化的创意生产/营销需求。