智能检测!Prompt Guard:小型BERT分类器,识别提示注入和越狱行为
基于大语言模型 (LLM) 的应用程序容易受到提示攻击,提示攻击是故意设计来颠覆开发者预期行为的提示。提示攻击的类别包括提示注入和越狱: 提示注入是利用来自第三方和用户的不可信数据拼接到模型的上下文窗口中的输入,以使模型执行意图之外的指令。 ...
基于大语言模型 (LLM) 的应用程序容易受到提示攻击,提示攻击是故意设计来颠覆开发者预期行为的提示。提示攻击的类别包括提示注入和越狱: 提示注入是利用来自第三方和用户的不可信数据拼接到模型的上下文窗口中的输入,以使模型执行意图之外的指令。 ...
背景 在软件开发生命周期中,代码安全审查是不可或缺的关键环节。然而,传统的静态应用安全测试(SAST)工具长期以来因其高误报率而备受诟病,大量的“噪音”警报不仅消耗了开发人员宝贵的精力,也常常导致真正的安全风险被淹没在信息的海洋中。 为了解决这一痛点...
颠覆网络安全业务架构的超级大宽表技术 在当今数字化的战场上,网络安全已经演变为一场以数据为核心的持续对抗。安全团队每天都面临着由网络流量、终端日志、云服务、应用行为和威胁情报构成的“数据海啸”。为了从这片汪洋中精准地捕获威胁,安全信息与事件管理(SI...
RED-TEAM:威胁认知篇 R1 引子:当”模型很聪明”遇上”系统要负责” 第一次把大模型接到真实业务上的时候,大家几乎都会经历一段”蜜月期”。它会快速总结、会自动草拟文案,...
一、引言 本文探讨了模型上下文协议(Model Context Protocol,MCP)——AI助手的新型”插件总线”如何被武器化为供应链攻击的跳板。我们将从MCP基础介绍开始,分析协议级和供应链攻击路径,并通过实践验证:一...
前言 了解了 agent 之后,迫不及待的开始学习起了 LangChain,从 0 到 1 的进行了一个学习,进行了一个简单的实践赋能 什么是 LangChain LangChain 是一个框架,主要目的就是构建基于大语言模型的应用,把模型能力、工...
近日,微软悄然调整了其“主动防护计划”(MAPP, Microsoft Active Protections Program)的规则,将对来自部分国家的成员实施更为严格的限制措施,特别是那些法律规定企业或研究人员须在48小时内向政府上报漏洞的国家,中...
作者:孙志敏 本文首发于AI与安全公众号。 提示词注入攻击介绍 提示词注入是一种攻击技术,攻击者通过精心设计的输入来操纵AI系统,使其偏离原定行为或绕过设定的安全措施。这类似于软件开发中的SQL注入攻击,但针对的是AI系统的提示词处理机制。 OWAS...
通过红队研究等一系列措施,ChatGPT Agent实现了显著的安全提升:视觉浏览器的无关指令攻击防护率达到95%,并具备稳健的生物与化学安全防护机制。 前情回顾·AI Agent安全研究 AI Agent安全该怎么做?微软安全打了个样 微软安全...
多位安全领导者反思了实战事件的经验,他们认为,分享这些至关重要。这能增强整体韧性,消除数据泄露的污名,并帮助可能遭遇事件的同行。 在数字化浪潮席卷全球的当下,网络安全已成为企业运营的核心防线。然而,即便有着严密的防护体系,网络攻击仍如同暗处的利刃,...
转自:https://www.secrss.com/articles/81079 乌克兰计算机应急响应小组发现首款利用 LLM 生成攻击指令的恶意软件 LameHug,推测其与俄罗斯 APT28组织存在关联。该恶意软件通过伪装政府文件的钓鱼邮件传播,...
在线服务: https://lock.cmpxchg8b.com/rebinder.html 开源github仓库: https://github.com/taviso/rbndr Simple DNS Rebinding Service rb...
最近一直忙于工作很久没有更新了,经历了很长一段时间的远程工作,去年年底笔者开始去公司现场打工了,在现场工作与同事们的交流沟通也就多了起来,没事就可以一起喝喝酒吹吹水,相比窝在家里工作也是不一样的体验。 有一天同事聊起来屏幕上SIEM告警数量不...
SOCLabs 更新了新的Windows检测挑战题目,《检测可疑的 ipconfig 执行》旨在帮助检测工程师学习和训练威胁检测。 本文介绍如何通过SOCLabs进行威胁检测的学习和训练。 威胁分析 根据题目要求可以看到要求我们去识别ipconfi...
概述 最近,我一直在思考一个问题:是否可以借助AI技术来提高木马分析工作的效率?为了实现这个目标,我尝试了多款AI工具,并且研究了多个可能的应用场景。然而,最终的效果并没有达到我预期的水平,似乎总差一点点。 直到前不久,在一次与同门师兄弟的聚餐聊天...
腾讯云2024年DDoS与应用安全威胁趋势报告》显示,利用漏洞和应用弱点的攻击手段愈发多样化和复杂化,2024年高危漏洞攻击总量超过 17亿次,面对这一严峻挑战,我们应该如何应对?接下来将为您讲解我们的最新尝试——基于大模型的漏洞识别能力,您可以通...
https://www.datacon.org.cn/competition/competitions/91/introduction 该项目基于datacon比赛2024年漏洞分析赛道冠军战队0817iotg的完整解题框架,集成了一个基于大模型的自...
转自:https://mp.weixin.qq.com/s/6dbWPMLyAJ50rcKDN0Abtw?mpshare=1&scene=1&srcid=0327JZTcfl2XUAv9c1arKJNq&sharer_shar...
引言: 在网络安全攻防实践中,资产测绘是红队作战与蓝队安全运营的第一步,其本质都是通过系统性信息采集实现攻击面管理。 当前普遍存在的痛点在于,当企业级资产规模呈指数级增长时,传统基于规则引擎的低效批量处理方式导致信息价值密度显著下降。这种...
本文展示从零开始搭建一个本地聊天助手的过程,涵盖了模型部署、搜索逻辑设计、内容提取与整合等关键步骤,特别介绍了如何让模型具备联网搜索能力。 0x0 序 近段时间 DeepSeek 的服务火遍了全网,无论是使用网页还是使用 App 都能享受到 深度...