返回技能目录
静态审阅软件开发

技能研究档案

red-teaming-llms-with-garak

来源声明

Runs NVIDIA garak probe suites (jailbreak, prompt injection, data leakage, toxicity, and more) against an LLM endpoint - Hugging Face models, OpenAI-compatible APIs, or Bedrock - then interprets the resulting hit-rate report for triage. Use when baselining LLM security before/after deployment, validating that a guardrail or fine-tune reduces jailbreak/injection success rates, or producing evidence for an AI risk assessment.

保留作者的英文原始描述。它表达设计意图,不代表已验证的实际效果。

Runs NVIDIA garak probe suites (jailbreak, prompt injection, data leakage, toxicity, and more) against an LLM endpoint - Hugging Face models, OpenAI-compatible APIs, or Bedrock - then interprets the resulting hit-rate report for triage. Use when baselining LLM security before/after deployment, validating that a guardrail or fine-tune reduces jailbreak/injection success rates, or producing evidence for an AI risk assessment.

developmentreferencesscripts

研究摘要

机器生成分析,等待人工复核

以下观察来自确定性源码解析,不代表人工安全审查或受控任务评估。

来源描述:Runs NVIDIA garak probe suites (jailbreak, prompt injection, data leakage, toxicity, and more) against an LLM endpoint - Hugging Face models, OpenAI-compatible APIs, or Bedrock - then interprets the resulting hit-rate report for triage. Use when baselining LLM security before/after deployment, validating that a guardrail or fine-tune reduces jailbreak/injection success rates, or producing evidence for an AI risk assessment. 此双语摘要由所收集的源文本和文件结构确定性地生成,等待人工编辑复核。

审阅范围

对所收集的 SKILL.md 及辅助文本/代码进行确定性静态分析。机器辅助候选和发现等待人工编辑复核;不评估动态行为或效果。

可观察能力

  • Workflow[来源陈述;暂定,未测试。证据:skills/red-teaming-llms-with-garak/SKILL.md:L83]

限制与范围

  • 静态分析无法评估运行时行为、命令是否成功、网络可达性或模型输出质量。
  • 未执行任何命令、脚本、网络请求、模型调用或受控技能测试。
  • 类别、标签、能力、工作流程和双语编辑摘要均为待人工复核的确定性候选,并非已验证结果。
  • 在后续管线实际执行并记录官方模型专用计数之前,无法提供精确 token 数。

适用读者

  • 评估是否检查并安装该来源技能的实践者;此受众由产品语境推断,并非测量得到的使用情况。[证据:skills/red-teaming-llms-with-garak/SKILL.md:L1-L28]

技能包含哪些内容

文件清单来自记录提交中的采集源码。路径与大小属于结构观察,不代表质量评价。

个文件
5
Markdown 文件
3
个脚本
1
个引用
2
大小
31.9 KB
结构复杂度
低

文件清单

路径类型字节
skills/red-teaming-llms-with-garak/LICENSE其他11 KB
skills/red-teaming-llms-with-garak/references/api-reference.md引用3 KB
skills/red-teaming-llms-with-garak/references/standards.md引用1.4 KB
skills/red-teaming-llms-with-garak/scripts/agent.py脚本5.3 KB
skills/red-teaming-llms-with-garak/SKILL.md指令11.2 KB

SKILL.md 前置元数据

{
  "name": "red-teaming-llms-with-garak",
  "description": "Runs NVIDIA garak probe suites (jailbreak, prompt injection, data leakage, toxicity, and more) against an LLM endpoint - Hugging Face models, OpenAI-compatible APIs, or Bedrock - then interprets the resulting hit-rate report for triage. Use when baselining LLM security before/after deployment, validating that a guardrail or fine-tune reduces jailbreak/injection success rates, or producing evidence for an AI risk assessment.",
  "domain": "cybersecurity",
  "subdomain": "ai-security",
  "tags": [
    "ai-security",
    "llm-red-teaming",
    "garak",
    "prompt-injection",
    "jailbreak",
    "vulnerability-scanning",
    "data-leakage",
    "mitre-atlas"
  ],
  "version": "1.0",
  "author": "mahipal",
  "license": "Apache-2.0",
  "nist_ai_rmf": [
    "MEASURE-2.7"
  ],
  "atlas_techniques": [
    "AML.T0051",
    "AML.T0054"
  ]
}

对运行顺序的一种解读

此工作流根据源码材料重建表面顺序。除非明确记录受控评估,否则它属于暂定解读,而非真实运行轨迹。

  1. 01
    操作

    Overview

    来源描述的步骤候选,位于“Overview”;未经执行验证。

  2. 02
    判断

    When to Use

    来源描述的决策候选,位于“When to Use”;未经执行验证。

  3. 03
    操作

    Objectives

    来源描述的步骤候选,位于“Objectives”;未经执行验证。

  4. 04
    操作

    MITRE ATT&CK Mapping

    来源描述的步骤候选,位于“MITRE ATT&CK Mapping”;未经执行验证。

  5. 05
    操作

    Workflow

    来源描述的步骤候选,位于“Workflow”;未经执行验证。

  6. 06
    操作

    List every probe garak ships so you can scope the run:

    来源描述的步骤候选,位于“Phase 1: Enumerate Probes and Detectors”;未经执行验证。

查看全部工作流候选节点 (25 个候选步骤)
  1. 07
    判断

    List detectors (the modules that score whether a probe succeeded) and generators (target connectors):

    来源描述的决策候选,位于“Phase 1: Enumerate Probes and Detectors”;未经执行验证。

  2. 08
    输入

    Read the probe taxonomy. Key families:

    来源描述的步骤候选,位于“Phase 1: Enumerate Probes and Detectors”;未经执行验证。

  3. 09
    操作

    Run a single jailbreak probe against a local model to validate setup:

    来源描述的步骤候选,位于“Phase 2: Probe a Local Hugging Face Model”;未经执行验证。

  4. 10
    操作

    Run a fuller suite against a chat model:

    来源描述的步骤候选,位于“Phase 2: Probe a Local Hugging Face Model”;未经执行验证。

  5. 11
    输出

    Export the key and run injection + leakage probes:

    来源描述的步骤候选,位于“Phase 3: Probe an OpenAI-Compatible API”;未经执行验证。

  6. 12
    操作

    garak can target any HTTP API via a JSON generator spec. Create `rest.json`:

    来源描述的步骤候选,位于“Phase 4: Probe an Arbitrary REST Endpoint”;未经执行验证。

  7. 13
    操作

    Run garak against it:

    来源描述的步骤候选,位于“Phase 4: Probe an Arbitrary REST Endpoint”;未经执行验证。

  8. 14
    操作

    For repeatable assessments, pin everything in a YAML/JSON config and pass `--config`:

    来源描述的步骤候选,位于“Phase 5: Run a Curated Config and Full Sweep”;未经执行验证。

  9. 15
    操作

    For an exhaustive sweep (slow, expensive) run all probes by omitting `--probes` entirely.

    来源描述的步骤候选,位于“Phase 5: Run a Curated Config and Full Sweep”;未经执行验证。

  10. 16
    输入

    Read the terminal summary. Each row is `probe.Class detector: PASS|FAIL ok on N/M`. A FAIL with a low `ok` fraction means the model frequently produced the unsafe behavior — a high-severity finding.

    来源描述的步骤候选,位于“Phase 6: Interpret the Hit-Rate Report”;未经执行验证。

  11. 17
    输出

    Open the machine-readable report and aggregate failures:

    来源描述的步骤候选,位于“Phase 6: Interpret the Hit-Rate Report”;未经执行验证。

  12. 18
    输出

    Open the generated `.report.html` in a browser for the formatted scorecard and per-probe breakdown.

    来源描述的步骤候选,位于“Phase 6: Interpret the Hit-Rate Report”;未经执行验证。

  13. 19
    操作

    Pull the actual successful attack strings from the hit log to use as proof-of-concept evidence.

    来源描述的步骤候选,位于“Phase 6: Interpret the Hit-Rate Report”;未经执行验证。

  14. 20
    输入

    Apply a control (tighten the system prompt, add an input/output guardrail such as Llama Guard or LLM Guard, or change the model).

    来源描述的步骤候选,位于“Phase 7: Mitigate and Re-Test”;未经执行验证。

  15. 21
    操作

    Re-run the identical probe set with a new `--reportprefix`.

    来源描述的步骤候选,位于“Phase 7: Mitigate and Re-Test”;未经执行验证。

  16. 22
    输出

    Compare hit rates between runs to quantify risk reduction for the report.

    来源描述的步骤候选,位于“Phase 7: Mitigate and Re-Test”;未经执行验证。

  17. 23
    操作

    Tools and Resources

    来源描述的步骤候选,位于“Tools and Resources”;未经执行验证。

  18. 24
    操作

    Probe Family Reference

    来源描述的步骤候选,位于“Probe Family Reference”;未经执行验证。

  19. 25
    操作

    Validation Criteria

    来源描述的步骤候选,位于“Validation Criteria”;未经执行验证。

潜在风险面

静态发现用于提示安装前需要检查的位置,不能证明一项技能安全、恶意或有效。

建议重点关注

收集的文本中有 27 项确定性词法发现需要复核。发现可能仅位于文档中,不证明已执行或可被利用;仅含二进制的文件未扫描。

网络访问已观察到
文件写入已观察到
凭据使用已观察到
中

文本提及网络访问

14 次命中

此源文件行包含 URL 或网络客户端。应检查目标地址、发送的数据和信任边界;静态文本无法证明实际发生了网络活动。 该规则在收集文本中命中 14 处;此处列出 3 个代表位置。命中文本可能只是文档,分析器没有执行它。

提示

文本描述或实现了文件修改

9 次命中

此行包含可能的文件写入或重定向操作。应检查目标路径和覆盖行为;静态审查没有写入任何文件。 该规则在收集文本中命中 9 处;此处列出 3 个代表位置。命中文本可能只是文档,分析器没有执行它。

高

文本引用凭据或密钥材料

4 次命中

此行疑似凭据字面值,或读取敏感环境变量。请勿暴露其内容;应核实它是占位符、所需密钥,还是误提交的敏感材料。 该规则在收集文本中命中 4 处;此处列出 3 个代表位置。命中文本可能只是文档,分析器没有执行它。

上下文可能消耗在哪里

发现、激活与资源层具有不同含义。只有使用指定官方方法并记录模型的运行时,才显示精确数值。

精确 token 计数不可用

在管线使用明确模型执行官方精确计数之前,包括文件清单在内的所有 token 值均为 null。

未使用要求的官方方法记录 token 测量。本档案不会用字符数、文件大小或估计值替代。

受控评估

没有受控评估

该技能仅具备以上标明的证据。不声称任何任务成功率、token 效率、延迟或质量优势。

尚未测试

在源码可见的情况下使用

安装命令
Inspect the pinned source at https://github.com/mukul975/Anthropic-Cybersecurity-Skills/blob/54a798831d2266a3ca61ce68a7acb80b81160d57/skills/red-teaming-llms-with-garak/SKILL.md and follow the source repository's installation instructions. No installation was performed or verified by this static analyzer. Source license: Apache-2.0.

前置条件

  • 静态分析无法评估运行时行为、命令是否成功、网络可达性或模型输出质量。
  • 未执行任何命令、脚本、网络请求、模型调用或受控技能测试。
  • 类别、标签、能力、工作流程和双语编辑摘要均为待人工复核的确定性候选,并非已验证结果。
  • 在后续管线实际执行并记录官方模型专用计数之前,无法提供精确 token 数。

示例提示词

未提供

附上限制条件的判断

优势

  • 快照包含 5 个收集文件、3 个 Markdown 文件和 1 个脚本文件,可进行源代码级检查。[证据:skills/red-teaming-llms-with-garak/SKILL.md:L1]

注意事项

  • 尚未确立功能、安全或模型质量结果。安装或发布前,人工复核必须检查源代码上下文和所有引用发现。
研究结论

仅为暂定的确定性静态清单;等待人工编辑复核以及独立的受控评估。不构成安装建议、安全保证或有效性声明。

从结构上保持可追溯

档案是对公开工件的限时阅读,而非背书。请通过来源链接检查确切的上游材料。

mukul975Anthropic-Cybersecurity-Skillsskills/red-teaming-llms-with-garak
来源类型
社区
提交
54a798831d2266a3ca61ce68a7acb80b81160d57
采集时间
2026年11月20日
最近核查
2026年11月20日
上游许可证
Apache-2.0
仓库星标
36,446
内容依据

仅对提供的文件进行确定性词法解析、YAML frontmatter 校验、文件清单、来源描述的工作流程提取和启发式暂定分类。由机器生成;无 LLM、执行、动态测试或人工编辑批准。