2024年11月9日,中金金融认证中心有限公司(CFCA)团队参加由中国计算机学会(CCF)举办的2024(第7届)国际AIOps挑战赛,在649支队伍中成绩排名第一,勇夺冠军!国际AIOps挑战赛由中国计算机学会、清华大学、南开大学、中国科学院等创办,旨在借助行业力量,运用人工智能技术解决各类运维难题,受到工业界和学术界的共同关注。2023 CCF国际AIOps挑战赛前三名分别是字节跳动、华为、国电南瑞。
2024 CCF国际AIOps挑战赛决赛颁奖仪式
2024 CCF国际AIOps挑战赛赛题首次采用AI大模型检索增强(RAG)技术结合运维知识库,获得社会各界高度关注,649支参赛队伍数量远超往届,参赛单位汇集知名高校、银行机构、非银金融机构、互联网企业、大型国企等。由于热度空前,CCF决定将本届AIOps决赛作为2024中国网络大会的一部分共同在苏州举办,CCF官网描述本届为“第一届重要年度赛事”。
本届AIOps挑战赛基于中兴5G相关产品文档库,从真实业务中收集数千个售前、实施、客服环节遇到的真实问题,选手们需要开发自动化程序进行回答,程序的回答会和中兴专家人工编写的标准答案进行对比评分。
CFCA针对赛题提出“TransRAG(Knowledge Transfer Empowered RAG)方案”,在数据预处理、知识嵌入检索、内容重排等关键步骤中进行了创新性改进,表现出卓越的通用性和性能。并且创新性地提出知识注入和迁移方案TransKTI(Transferable Knowledge Transformer Insertion),通过TransKTI方法训练嵌入模型,使方案具备以下优点:1、训练参数更少;2、领域能力更强;3、通用能力下降更少。CFCA方案在LLM模型和检索模型的知识注入和迁移方面展现出巨大的潜力,评测结果证明了方案有效性,CFCA挺进决赛。
CFCA参赛团队在决赛中进行答辩
CFCA以第四名的成绩进入决赛时,恰逢公司制定技术能力升级三年规划CFCA参赛选手在参加挑战赛的同时,也主动参与到技术条线实战方案讨论会议当中。讨论过程中,CFCA各个技术工作团队技术条线制定方案时的认真态度、严密逻辑、结构化思维技巧都让参赛选手深受触动,在工作团队滴水不漏、逻辑清晰、干净完整的实战作风影响下,选手团队对自己的参赛表现有了更高的要求,于是将决赛资料进行重构式大幅调整,对方案的逻辑性不断精雕细琢,对隐藏题目评分逻辑反复研究。最终,CFCA在提交资料的质量、方案的通用性、性能等方面综合得分位列决赛圈第一,夺得2024 CCF国际AIOps挑战赛冠军。
本届挑战赛前十名分别是:中金金融认证中心有限公司(CFCA)、中国建设银行、北京邮电大学、北京航空航天大学、字节跳动(豆包Code)、中国电信重庆分公司、奇虎360、字节跳动(STE团队)、联通数科、中航泰克。
2024 CCF国际AIOps挑战赛冠军奖杯与奖状
CFCA积极跟进人工智能前沿技术发展趋势,参加各类学术活动、竞赛,与业内交流拓宽视野,以实战锤炼技术能力,立志在新时代信息安全领域继续担当中坚力量。