返回技能目录
静态审阅软件开发

技能研究档案

testing-for-system-prompt-leakage

来源声明

Extracts LLM system prompts using direct requests, jailbreak/instruction-override framing, translation/encoding tricks, and few-shot replay, combining manual payloads with automated garak and Promptfoo scanners to surface embedded secrets, routing logic, and policy leakage (OWASP LLM07:2025). Use during LLM application red-team engagements or when validating that no credentials or authorization logic live in the system prompt.

保留作者的英文原始描述。它表达设计意图,不代表已验证的实际效果。

Extracts LLM system prompts using direct requests, jailbreak/instruction-override framing, translation/encoding tricks, and few-shot replay, combining manual payloads with automated garak and Promptfoo scanners to surface embedded secrets, routing logic, and policy leakage (OWASP LLM07:2025). Use during LLM application red-team engagements or when validating that no credentials or authorization logic live in the system prompt.

developmentreferencesscripts

研究摘要

机器生成分析,等待人工复核

以下观察来自确定性源码解析,不代表人工安全审查或受控任务评估。

来源描述:Extracts LLM system prompts using direct requests, jailbreak/instruction-override framing, translation/encoding tricks, and few-shot replay, combining manual payloads with automated garak and Promptfoo scanners to surface embedded secrets, routing logic, and policy leakage (OWASP LLM07:2025). Use during LLM application red-team engagements or when validating that no credentials or authorization logic live in the system prompt. 此双语摘要由所收集的源文本和文件结构确定性地生成,等待人工编辑复核。

审阅范围

对所收集的 SKILL.md 及辅助文本/代码进行确定性静态分析。机器辅助候选和发现等待人工编辑复核;不评估动态行为或效果。

可观察能力

  • Workflow[来源陈述;暂定,未测试。证据:skills/testing-for-system-prompt-leakage/SKILL.md:L82]
  • Step 1: Baseline with direct extraction requests[来源陈述;暂定,未测试。证据:skills/testing-for-system-prompt-leakage/SKILL.md:L84]
  • Step 2: Instruction-override and role-play framing[来源陈述;暂定,未测试。证据:skills/testing-for-system-prompt-leakage/SKILL.md:L95]
  • Step 3: Completion and delimiter attacks[来源陈述;暂定,未测试。证据:skills/testing-for-system-prompt-leakage/SKILL.md:L103]
  • Step 4: Encoding / format-shift attacks[来源陈述;暂定,未测试。证据:skills/testing-for-system-prompt-leakage/SKILL.md:L113]
  • Step 5: Automated probing with garak[来源陈述;暂定,未测试。证据:skills/testing-for-system-prompt-leakage/SKILL.md:L121]
  • Step 6: Build a Promptfoo red-team extraction suite[来源陈述;暂定,未测试。证据:skills/testing-for-system-prompt-leakage/SKILL.md:L142]
  • Step 7: Triage leaked content for secrets and logic[来源陈述;暂定,未测试。证据:skills/testing-for-system-prompt-leakage/SKILL.md:L177]
  • Step 8: Remediate and re-test[来源陈述;暂定,未测试。证据:skills/testing-for-system-prompt-leakage/SKILL.md:L190]

限制与范围

  • 静态分析无法评估运行时行为、命令是否成功、网络可达性或模型输出质量。
  • 未执行任何命令、脚本、网络请求、模型调用或受控技能测试。
  • 类别、标签、能力、工作流程和双语编辑摘要均为待人工复核的确定性候选,并非已验证结果。
  • 在后续管线实际执行并记录官方模型专用计数之前,无法提供精确 token 数。

适用读者

  • 评估是否检查并安装该来源技能的实践者;此受众由产品语境推断,并非测量得到的使用情况。[证据:skills/testing-for-system-prompt-leakage/SKILL.md:L1-L26]

技能包含哪些内容

文件清单来自记录提交中的采集源码。路径与大小属于结构观察,不代表质量评价。

个文件
5
Markdown 文件
3
个脚本
1
个引用
2
大小
28.8 KB
结构复杂度
低

文件清单

路径类型字节
skills/testing-for-system-prompt-leakage/LICENSE其他11 KB
skills/testing-for-system-prompt-leakage/references/api-reference.md引用2.6 KB
skills/testing-for-system-prompt-leakage/references/standards.md引用1.5 KB
skills/testing-for-system-prompt-leakage/scripts/agent.py脚本4.4 KB
skills/testing-for-system-prompt-leakage/SKILL.md指令9.2 KB

SKILL.md 前置元数据

{
  "name": "testing-for-system-prompt-leakage",
  "description": "Extracts LLM system prompts using direct requests, jailbreak/instruction-override framing, translation/encoding tricks, and few-shot replay, combining manual payloads with automated garak and Promptfoo scanners to surface embedded secrets, routing logic, and policy leakage (OWASP LLM07:2025). Use during LLM application red-team engagements or when validating that no credentials or authorization logic live in the system prompt.",
  "domain": "cybersecurity",
  "subdomain": "ai-security",
  "tags": [
    "ai-security",
    "system-prompt-leakage",
    "prompt-extraction",
    "llm-red-team",
    "owasp-llm07",
    "garak",
    "promptfoo",
    "data-leakage"
  ],
  "version": "1.0",
  "author": "mahipal",
  "license": "Apache-2.0",
  "nist_ai_rmf": [
    "MEASURE-2.7"
  ],
  "atlas_techniques": [
    "AML.T0057"
  ]
}

对运行顺序的一种解读

此工作流根据源码材料重建表面顺序。除非明确记录受控评估,否则它属于暂定解读,而非真实运行轨迹。

  1. 01
    操作

    Overview

    来源描述的步骤候选,位于“Overview”;未经执行验证。

  2. 02
    判断

    The system prompt must never be treated as a secret or used as a security control. If leaking it breaks your security model, the security model is wrong. The real findings during a leakage test are the secrets and logic embedded in the prompt that should have been enforced server-side.

    来源描述的决策候选,位于“Overview”;未经执行验证。

  3. 03
    操作

    System prompts are extractable. Through direct requests, instruction-override (jailbreak) framing, translation/encoding tricks, completion attacks, and few-shot replay, adversaries can reliably recover preambles.

    来源描述的步骤候选,位于“Overview”;未经执行验证。

  4. 04
    判断

    When to Use

    来源描述的决策候选,位于“When to Use”;未经执行验证。

  5. 05
    操作

    Objectives

    来源描述的步骤候选,位于“Objectives”;未经执行验证。

  6. 06
    操作

    MITRE ATT&CK Mapping

    来源描述的步骤候选,位于“MITRE ATT&CK Mapping”;未经执行验证。

查看全部工作流候选节点 (21 个候选步骤)
  1. 07
    操作

    Workflow

    来源描述的步骤候选,位于“Workflow”;未经执行验证。

  2. 08
    操作

    Step 1: Baseline with direct extraction requests

    来源描述的步骤候选,位于“Step 1: Baseline with direct extraction requests”;未经执行验证。

  3. 09
    操作

    Step 2: Instruction-override and role-play framing

    来源描述的步骤候选,位于“Step 2: Instruction-override and role-play framing”;未经执行验证。

  4. 10
    操作

    Step 3: Completion and delimiter attacks

    来源描述的步骤候选,位于“Step 3: Completion and delimiter attacks”;未经执行验证。

  5. 11
    操作

    Step 4: Encoding / format-shift attacks

    来源描述的步骤候选,位于“Step 4: Encoding / format-shift attacks”;未经执行验证。

  6. 12
    操作

    Step 5: Automated probing with garak

    来源描述的步骤候选,位于“Step 5: Automated probing with garak”;未经执行验证。

  7. 13
    操作

    Step 6: Build a Promptfoo red-team extraction suite

    来源描述的步骤候选,位于“Step 6: Build a Promptfoo red-team extraction suite”;未经执行验证。

  8. 14
    操作

    Step 7: Triage leaked content for secrets and logic

    来源描述的步骤候选,位于“Step 7: Triage leaked content for secrets and logic”;未经执行验证。

  9. 15
    操作

    Step 8: Remediate and re-test

    来源描述的步骤候选,位于“Step 8: Remediate and re-test”;未经执行验证。

  10. 16
    操作

    Move all secrets out of the prompt into a secrets manager; the model should never see them.

    来源描述的步骤候选,位于“Step 8: Remediate and re-test”;未经执行验证。

  11. 17
    操作

    Enforce authorization and routing decisions in application code, not in the preamble.

    来源描述的步骤候选,位于“Step 8: Remediate and re-test”;未经执行验证。

  12. 18
    输出

    Add an output guardrail (see `defending-llms-with-guardrails`) that blocks responses echoing the preamble.

    来源描述的步骤候选,位于“Step 8: Remediate and re-test”;未经执行验证。

  13. 19
    输出

    Re-run garak and Promptfoo; the extraction plugins must report zero successful leaks.

    来源描述的步骤候选,位于“Step 8: Remediate and re-test”;未经执行验证。

  14. 20
    操作

    Tools and Resources

    来源描述的步骤候选,位于“Tools and Resources”;未经执行验证。

  15. 21
    操作

    Validation Criteria

    来源描述的步骤候选,位于“Validation Criteria”;未经执行验证。

潜在风险面

静态发现用于提示安装前需要检查的位置,不能证明一项技能安全、恶意或有效。

建议重点关注

收集的文本中有 15 项确定性词法发现需要复核。发现可能仅位于文档中,不证明已执行或可被利用;仅含二进制的文件未扫描。

网络访问已观察到
文件写入已观察到
凭据使用已观察到
中

文本提及网络访问

9 次命中

此源文件行包含 URL 或网络客户端。应检查目标地址、发送的数据和信任边界;静态文本无法证明实际发生了网络活动。 该规则在收集文本中命中 9 处;此处列出 3 个代表位置。命中文本可能只是文档,分析器没有执行它。

高

文本引用凭据或密钥材料

4 次命中

此行疑似凭据字面值,或读取敏感环境变量。请勿暴露其内容;应核实它是占位符、所需密钥,还是误提交的敏感材料。 该规则在收集文本中命中 4 处;此处列出 3 个代表位置。命中文本可能只是文档,分析器没有执行它。

上下文可能消耗在哪里

发现、激活与资源层具有不同含义。只有使用指定官方方法并记录模型的运行时,才显示精确数值。

精确 token 计数不可用

在管线使用明确模型执行官方精确计数之前,包括文件清单在内的所有 token 值均为 null。

未使用要求的官方方法记录 token 测量。本档案不会用字符数、文件大小或估计值替代。

受控评估

没有受控评估

该技能仅具备以上标明的证据。不声称任何任务成功率、token 效率、延迟或质量优势。

尚未测试

在源码可见的情况下使用

安装命令
Inspect the pinned source at https://github.com/mukul975/Anthropic-Cybersecurity-Skills/blob/54a798831d2266a3ca61ce68a7acb80b81160d57/skills/testing-for-system-prompt-leakage/SKILL.md and follow the source repository's installation instructions. No installation was performed or verified by this static analyzer. Source license: Apache-2.0.

前置条件

  • 静态分析无法评估运行时行为、命令是否成功、网络可达性或模型输出质量。
  • 未执行任何命令、脚本、网络请求、模型调用或受控技能测试。
  • 类别、标签、能力、工作流程和双语编辑摘要均为待人工复核的确定性候选,并非已验证结果。
  • 在后续管线实际执行并记录官方模型专用计数之前,无法提供精确 token 数。

示例提示词

未提供

附上限制条件的判断

优势

  • 快照包含 5 个收集文件、3 个 Markdown 文件和 1 个脚本文件,可进行源代码级检查。[证据:skills/testing-for-system-prompt-leakage/SKILL.md:L1]

注意事项

  • 尚未确立功能、安全或模型质量结果。安装或发布前,人工复核必须检查源代码上下文和所有引用发现。
研究结论

仅为暂定的确定性静态清单;等待人工编辑复核以及独立的受控评估。不构成安装建议、安全保证或有效性声明。

从结构上保持可追溯

档案是对公开工件的限时阅读,而非背书。请通过来源链接检查确切的上游材料。

mukul975Anthropic-Cybersecurity-Skillsskills/testing-for-system-prompt-leakage
来源类型
社区
提交
54a798831d2266a3ca61ce68a7acb80b81160d57
采集时间
2026年11月20日
最近核查
2026年11月20日
上游许可证
Apache-2.0
仓库星标
36,446
内容依据

仅对提供的文件进行确定性词法解析、YAML frontmatter 校验、文件清单、来源描述的工作流程提取和启发式暂定分类。由机器生成;无 LLM、执行、动态测试或人工编辑批准。