知识不值钱了吗?龙虾的爬虫skill编写与思考
迪丽瓦拉
2026-04-07 18:10:55
0

大模型时代,知识的获取变得容易,但是个人很容易淹没在大模型输出的海量知识中,学习效率反而降低。为了高效找到所需要的知识,人类仍需要不断积累知识,转换成为自己的经验,不妨称之为 元知识。这样,在面对具体问题时,就能根据元知识快速判断需要哪些具体的知识,并从大模型获取。总之, 知识的重要性降低,但是元知识变得非常重要。下面,以OpenClaw采集股票实时行情数据为例,介绍这一个思路。总之,人类不能被网上所说的大模型时代知识不值钱的论调所迷惑,而自废知识学习能力。

让OpenClaw获取某个股票的实时信息,它会从腾讯财经上快速获得,可见大模型已经掌握了腾讯财经上关于股票行情的请求方法。下面,我换一个来源,指定它从新浪财经获取股票实时数据。它先后尝试了五个方法,但最终都没能从新浪财经获取到数据。以下是其中三次尝试,试图改变User-Agent和网址,但都没有成功。

所有的尝试都没有成功,白浪费了tokens和Money,大模型的账单很快就来了。

在这种情况下,需要人类介入,需要人类的专业知识。否则基于OpenClaw和大模型之间的 纠错和试错机制,花再多的tokens,也无法解决问题。

以下是人类:通过浏览器的开发者工具很容易找到新浪的URL。

从爬虫检测的角度看,使用User-Agent的特征所需要付出的代价比较小,但是容易被爬虫端随意修改,正如OpenClaw所尝试的,首先想到的也是修改User-Agent,但 在对抗中,大家都能想到的东西是没有用的。所以加入另一个简易特征Referer,发现是可行的。

基于这个经验知识和试验结果,我们可以让OpenClaw制作一个Skill(sina-skill),规定它HTTP请求头的写法,即可。正是人类(我)具备爬虫对抗、分析浏览器请求和判断特征代价的经验知识,才可以利用这种知识避免龙虾走弯路,减少token消耗,所以知识,特别是元知识是值钱的。

感谢新浪提供查询API,建议适当增强反爬虫措施。

相关内容

热门资讯

神宇股份涨3.85%,成交额2... 5月6日,神宇股份涨3.85%,成交额2.29亿元,换手率5.11%,总市值65.05亿元。 异动分...
广发基金宣布增加瑞银证券为云计... 广发基金管理有限公司近日发布公告,宣布增加瑞银证券为旗下部分ETF的一级交易商。此次新增的一级交易商...
湖北国资:一年收了4家上市公司... 你好,我是涛哥,专注于并购重组投资。这是涛哥的第69篇原创文章。 2024年,湖北国资收了4家上市公...
特斯拉一季度净利锐减71%!马... 当地时间4月22日,特斯拉首席执行官埃隆·马斯克表示,他计划在5月“大幅”减少为特朗普政府工作,以专...
紫燕食品发布2024年年报:创... 4月17日晚,上海紫燕食品股份有限公司(简称:紫燕食品,603057.SH)发布2024年年度报告。...
红利策略进化论:从防御盾牌到现... 当前市场对贸易摩擦的敏感度明显降低,近期各类关税消息虽然层出不穷,但A股基本走出脱敏行情,相关板块波...
原创 腾... 海内外大厂大模型研发正在进入新升级周期,为了加速补齐技术短板,腾讯混元近日进行了大幅架构调整,重构研...
钧达股份通过港股IPO聆讯:光... 瑞财经 吴文婷 4月21日,海南钧达新能源科技股份有限公司(以下简称“钧达股份”)通过港交所聆讯,华...
鲁东红:提振消费政策落到实处,... 编者按:提振消费、扩大内需是促进经济持续回升向好的关键之举。近日,中国人民大学重阳金融研究院 宏观研...
我市加快建设水利基础设施持续增... 我市加快建设水利基础设施持续增强水利支撑能力 ■ 截至目前,全市136个项目已开工建设,累计完成投资...