返回技能目录
人工审校数据分析

技能研究档案

spark-engineer

来源声明

Use when writing Spark jobs, debugging performance issues, or configuring cluster settings for Apache Spark applications, distributed data processing pipelines, or big data workloads. Invoke to write DataFrame transformations, optimize Spark SQL queries, implement RDD pipelines, tune shuffle operations, configure executor memory, process .parquet files, handle data partitioning, or build structured streaming analytics.

保留作者的英文原始描述。它表达设计意图,不代表已验证的实际效果。

Use when writing Spark jobs, debugging performance issues, or configuring cluster settings for Apache Spark applications, distributed data processing pipelines, or big data workloads. Invoke to write DataFrame transformations, optimize Spark SQL queries, implement RDD pipelines, tune shuffle operations, configure executor memory, process .parquet files, handle data partitioning, or build structured streaming analytics.

datareferences

研究摘要

人工审校

Skill Atlas editorial review · editorial-preview-1.0.0

指导 Apache Spark 开发:DataFrame 流水线、分区、join、数据倾斜、缓存和结构化流,并通过 Spark UI 校验。

审阅范围

对所收集的 SKILL.md 及辅助文本/代码进行确定性静态分析。机器辅助候选和发现等待人工编辑复核;不评估动态行为或效果。

可观察能力

  • 分析数据量、转换逻辑、延迟要求和集群资源。
  • 设计流水线,选择 DataFrame 或 RDD,并识别广播机会。
  • 调优 shuffle 分区、数据倾斜和 join,并定义显式 schema。
  • 结束前校验分区数,并检查 Spark UI 中是否有 spill。

限制与范围

  • Skill 无法自行查看 Spark UI,需要用户提供指标。
  • 分区数(每核 200-1000)和 200MB 广播阈值等数字未给出来源。
  • 本次审阅未运行任何 Spark 代码。

适用读者

  • 构建 ETL 流水线的数据工程师
  • 排查 Spark 作业变慢的团队
  • 编写结构化流的工程师

技能包含哪些内容

文件清单来自记录提交中的采集源码。路径与大小属于结构观察,不代表质量评价。

个文件
6
Markdown 文件
6
个脚本
0
个引用
5
大小
86.1 KB
结构复杂度
低

文件清单

路径类型字节
skills/spark-engineer/references/partitioning-caching.md引用14.5 KB
skills/spark-engineer/references/performance-tuning.md引用15.5 KB
skills/spark-engineer/references/rdd-operations.md引用16 KB
skills/spark-engineer/references/spark-sql-dataframes.md引用13.5 KB
skills/spark-engineer/references/streaming-patterns.md引用20 KB
skills/spark-engineer/SKILL.md指令6.6 KB

SKILL.md 前置元数据

{
  "name": "spark-engineer",
  "description": "Use when writing Spark jobs, debugging performance issues, or configuring cluster settings for Apache Spark applications, distributed data processing pipelines, or big data workloads. Invoke to write DataFrame transformations, optimize Spark SQL queries, implement RDD pipelines, tune shuffle operations, configure executor memory, process .parquet files, handle data partitioning, or build structured streaming analytics.",
  "license": "MIT",
  "metadata": {
    "author": "https://github.com/Jeffallan",
    "company": "https://synergetic.solutions",
    "version": "1.1.0",
    "domain": "data-ml",
    "triggers": "Apache Spark, PySpark, Spark SQL, distributed computing, big data, DataFrame API, RDD, Spark Streaming, structured streaming, data partitioning, Spark performance, cluster computing, data processing pipeline",
    "role": "expert",
    "scope": "implementation",
    "output-format": "code",
    "related-skills": "python-pro, sql-pro, devops-engineer"
  }
}

对运行顺序的一种解读

此工作流根据源码材料重建表面顺序。除非明确记录受控评估,否则它属于暂定解读,而非真实运行轨迹。

  1. 01
    输入

    分析需求

    了解数据量、转换逻辑、延迟要求和集群资源。

  2. 02
    操作

    实现流水线

    编写带优化转换、合理缓存和错误处理的 Spark 代码。

  3. 03
    判断

    校验或重新优化

    检查 Spark UI 的 spill;若发现 spill 或倾斜,则回到优化步骤。

  4. 04
    输出

    交付 Spark 方案

    提供代码、配置建议、分区策略和监控建议。

潜在风险面

静态发现用于提示安装前需要检查的位置,不能证明一项技能安全、恶意或有效。

有需要复核的项目

收集的文本中有 50 项确定性词法发现需要复核。发现可能仅位于文档中,不证明已执行或可被利用;仅含二进制的文件未扫描。

网络访问已观察到
文件写入已观察到
凭据使用未观察到
提示

文本描述或实现了文件修改

46 次命中

此行包含可能的文件写入或重定向操作。应检查目标路径和覆盖行为;静态审查没有写入任何文件。 该规则在收集文本中命中 46 处;此处列出 3 个代表位置。命中文本可能只是文档,分析器没有执行它。

编辑安全提示

检查生成作业中的存储路径和覆盖模式,示例以 mode("overwrite") 写入存储桶。

上下文可能消耗在哪里

发现、激活与资源层具有不同含义。只有使用指定官方方法并记录模型的运行时,才显示精确数值。

精确 token 计数不可用

在管线使用明确模型执行官方精确计数之前,包括文件清单在内的所有 token 值均为 null。

未使用要求的官方方法记录 token 测量。本档案不会用字符数、文件大小或估计值替代。

受控评估

没有受控评估

该技能仅具备以上标明的证据。不声称任何任务成功率、token 效率、延迟或质量优势。

尚未测试

在源码可见的情况下使用

安装命令
git clone https://github.com/Jeffallan/claude-skills.git cd claude-skills # 将该 Skill 目录复制到以下任一位置: # ~/.claude/skills/spark-engineer # .claude/skills/spark-engineer
  1. 打开固定版本源码:https://github.com/Jeffallan/claude-skills/blob/67c1961b180dc92cf08983344627109e983e8f51/skills/spark-engineer/SKILL.md。
  2. 审阅许可证、前置条件和所有捆绑资源。
  3. 将 Skill 安装到个人或项目级 Claude Code skills 目录。
  4. 重启或刷新 Claude Code,使该 Skill 可被发现。
验证安装

确认目标位置能够发现 spark-engineer 的 SKILL.md,然后让 Claude Code 在一个小型测试任务中使用它。

前置条件

  • Skill 无法自行查看 Spark UI,需要用户提供指标。
  • 分区数(每核 200-1000)和 200MB 广播阈值等数字未给出来源。
  • 本次审阅未运行任何 Spark 代码。

示例提示词

代表性任务

Use the spark-engineer skill to optimize this PySpark job that joins a 2 TB events table with a small product dimension and groups by user_id. Check for skew, set an explicit schema and recommend shuffle partitions.

使用前检查

Read the spark-engineer skill files at https://github.com/Jeffallan/claude-skills/blob/67c1961b180dc92cf08983344627109e983e8f51/skills/spark-engineer/SKILL.md. Explain its workflow, required tools, permissions and the main risks before I decide whether to install it.

附上限制条件的判断

优势

  • 提供广播 join、加盐和缓存的具体模式。
  • 校验发现 spill 或倾斜时会回到优化步骤。

注意事项

  • 建议取决于集群和数据的具体情况。
  • 示例中的 S3 路径只是占位符。
研究结论

一份实用的 Spark 调优指南,其中数字只是起点,需结合自身负载度量。

从结构上保持可追溯

档案是对公开工件的限时阅读,而非背书。请通过来源链接检查确切的上游材料。

Jeffallanclaude-skillsskills/spark-engineer
来源类型
社区
提交
67c1961b180dc92cf08983344627109e983e8f51
采集时间
2026年11月20日
最近核查
2026年11月20日
上游许可证
MIT
仓库星标
12,464
内容依据

仅对提供的文件进行确定性词法解析、YAML frontmatter 校验、文件清单、来源描述的工作流程提取和启发式暂定分类。由机器生成;无 LLM、执行、动态测试或人工编辑批准。