AI造假乱象频发 上市公司在AI安全领域积极布局

新华财经北京5月26日电（罗浩）继此前“10分钟被AI换脸骗走430万元”事件引发关注之后，5月25日，4月发生的又一起AI换脸诈骗事件被媒体曝光。这次金额达到245万元，且整个诈骗过程时间更短，只有9秒钟。据大皖新闻报道，今年4月，安徽安庆经开区发生一起“冒充熟人”诈骗案，经开公安分局反诈中心民警调查发现诈骗分子使用了一段9秒钟的智能AI换脸视频佯装“熟人”，让受害人放松警惕从而实施诈骗。

5月24日，中国互联网协会发文提醒，今年以来，ChatGPT和GPT-4等技术的应用，成为了信息科技领域的热点，引起公众对AI技术的广泛关注和热情。但伴随着深度合成技术的开放开源，深度合成产品和服务逐渐增多，利用“AI换脸”“AI换声”等虚假音视频，进行诈骗、诽谤的违法行为屡见不鲜。面对利用AI技术的新型骗局，广大公众需提高警惕，加强防范。

除AI换脸诈骗外，生成式AI写作也被用于编造、传播虚假信息。5月24日，股价午后一度大幅下跌，之后回应称，股价下跌系某生成式AI写作“虚假小作文”导致，谣传风险为不实消息。

2023年4月，国家网信办发布《生成式人工智能服务管理办法（征求意见稿）》，其中提到，“利用生成式人工智能生成的内容应当真实准确，采取措施防止生成虚假信息。”

AI造假乱象所带来的网络安全问题引发市场关注，上市公司在AI安全领域积极布局。

于5月18日举行产品发布会，发布安全GPT，该产品不依赖其他开源模型，由自主训练，并部署于托管云，实现完全自主可控。分析师刘雯蜀表示，公司基于自身对于威胁情报和攻防技术行业knowhow对通用大模型进行微调，使得安全GPT模型在安全垂直领域的认知超过通用大模型，呈现出检测效果好、专业性强、个性化诊断以及迭代快速的特点。相较于传统AI小模型而言，公司安全GPT模型的能力更加强大。针对数据安全问题，公司安全GPT为自主训练研发，不依赖开源模型服务，训练数据部署在托管云上，可实现数据不出境。

在投资者交流会上表示，公司在恶意样本、风险信息、威胁知识、安全情报等方面具有多年的海量安全数据积累，提前布局人工智能领域的研究与应用。已发布了融入AI技术的防火墙、入侵防御、僵木蠕、沙箱、大数据分析、态势感知、EDR、数据防泄漏等多款创新型产品。未来将推出更多赋能网络安全行业的产品与服务。

称，在AI监管产品方面，公司已经发布了AI-3300“慧眼”视频图像鉴真工作站，可以对深度合成伪造的视频图像、AIGC生成视频图像进行监测鉴定；公司推出的AIGC检测平台支持AIGC生成文本的检测识别。后续公司将持续围绕包括反生成式AI在内的AI安全及监管领域进行研究并根据业务需要适时布局相关产品。

表示，公司在AI安全领域已布局多年，主要围绕两个维度：一方面是利用大数据、人工智能等技术赋能公司原有产品，另一方面是关注AI发展和应用自身面临的安全风险问题。

编辑：翟卓

声明：新华财经为新华社承建的国家金融信息平台。任何情况下，本平台所发布的信息均不构成投资建议。