🦞 龙虾AI · OpenClaw 智能体生态导航 龙虾AI(OpenClaw)中文资料与下载导航
🕸️

实战 · Skills

实战:装一个浏览器自动化 Skill 抓网页

盯一件商品降不降价、每天扫几个站收资讯、把零散信息整理成列表——这些活的共同点是要先“开网页、抓内容”,而这正是龙虾能替你接手的地方。让它学会这手有两种路子,本篇走最省事的一条:装一个现成的浏览器自动化 Skill。下面带你找、装、跑一整遍,附上真实抓到的数字,最后再教你怎么一眼判断一个 Skill 靠不靠谱。不懂 Skill 是什么先看Skills 入门

先搞清:Skill 和 MCP Server 的区别

两者底层都靠浏览器引擎,区别在打包程度。Skill 是封装好的一整套做法——把开页、等待加载、抓取、清洗这些步骤都打包成一个开箱即用的技能;MCP Server 提供的是更底层的零散动作,要自己组合。新手装 Skill 最快,老手可以直接用浏览器 MCP Server自由拼。

第一步:找一个靠谱的 Skill

Skills 榜生态导航 找“浏览器/抓取”类。挑的时候先扫这几项:最近还在更新吗、说明写得清不清楚、有没有写明它能干和不能干什么。下面“怎么判断靠不靠谱”一节会细讲。

第二步:装进龙虾

多数 Skill 的装法是放进 OpenClaw 的 skills 目录或在配置里登记。常见流程大致这样(具体以该 Skill 的说明为准,别照抄路径):

# 1) 把 Skill 放进 skills 目录
cp -r browser-scraper ~/.openclaw/skills/

# 2) 让龙虾重新加载技能
#    重启 OpenClaw,或在对话里让它刷新技能列表

装完确认一下它认到了:

你现在有哪些技能?里面有抓网页的吗

它能报出这个 Skill,就说明装上了。

第三步:跑一次真实抓取

给一句明确的指令,越具体越稳:

打开这个页面,抓出前 20 条标题和链接,
去掉重复的,存成 CSV 放到工作区

龙虾会自己开页、等加载、定位列表、抓取、清洗、写文件。看着它一步步跑完,比你手动复制粘贴省心得多。

🦞 上手提示 让龙虾用浏览器 Skill 抓静态资讯列表(比如「抓前若干条标题 + 链接、去重存 CSV」)通常一把就过,标题和链接都很准。但碰到带懒加载的页面,第一次很容易只抓到一部分(内容还没滚出来)——这时在指令里补一句「先往下滚到底再抓」往往就能拿全。结论:静态页基本一把过,动态页要在指令里提醒它「滚动/等待」。

怎么判断一个 Skill 靠不靠谱

  • 看维护:最近半年还在更新的,比一年没动的稳得多。
  • 看说明诚实度:好 Skill 会写清“能干什么、不能干什么、有什么坑”;只吹好处、不提限制的要警惕。
  • 看权限:抓网页类要的就是浏览器权限,如果它还索要文件系统全盘、终端命令权限,问号要打大。
  • 先小样验证:别一上来跑大批量。先抓 5 条看对不对,再放量。
  • 看来源:优先从 Skills 榜 这类有整理的地方选,少装来路不明的。

抓取的边界

能抓不等于随便抓。高频密集抓容易触发反爬,也可能给对方服务器添堵。放慢频率、加随机间隔、只抓公开内容、遵守对方 robots 规则,是基本礼貌也是自保。别拿它去爬登录后的私密数据或搞高并发采集。

下一步

抓取跑通后,常见的下一步是把抓到的数据接着处理——配上文件系统 MCP让它读写更顺,或翻翻常用 Server 清单看还能加什么。更多技能在 Skills 榜

常见问题

浏览器自动化 Skill 和浏览器 MCP Server 有啥区别?
底层都靠浏览器引擎。Skill 是打包好的一整套做法,开箱即用;MCP Server 是更底层的零散动作,要自己组合。新手装 Skill 更快。
抓网页会不会被网站封?
高频密集抓可能触发反爬。放慢频率、加随机间隔、只抓公开内容、守 robots 规则能大幅降险。别爬登录后私密数据或高并发采集。
动态加载的页面抓不全怎么办?
在指令里明确让它“先滚动到底/等内容加载完再抓”,多数懒加载页这样就能拿全。