有关webscraper的一些问题

《不用写代码的爬虫课》发布后,有不少朋友来找我抓数据,但是有的朋友对于爬虫不了解,所以造成交流不畅。这篇文章就是分享一些爬虫的基础信息。
这篇文章只针对 web scraper
一、爬虫是什么?爬虫,通俗一点讲,就是让程序帮你统计网页上的数据。
比如,你要统计一个公众号的所以文章标题,如果有 500 篇文章,你手动复制粘贴到 excel 里面,一个标题 10 秒,大概需要1 个多小时。
但是如果会爬虫的话,你只需要设置一下抓取规则,然后程序会帮你抓,大概 1 分钟左右就能做完。如果数据量大,可能需要时间更长一些。
二、爬虫不是什么?爬虫只能抓 网页上眼睛能看到的信息(这里指的是 webscraper 的范围)。
爬虫没有搜索功能,没有语言功能,没有数据分析功能,也没有求和功能,也没有排序功能。这些操作可以放到抓取后的 excel 里面操作。
三、怎么确定自己要抓的东西爬虫能完成?注意:这里只针对《不用写代码的爬虫课》
如果你要抓一个东西
你必须提供一个 网址(也可以叫链接、或者 URL)。
例如:http://www.zsxq100.com/
你需要在浏览器的地址栏里访问这个页面,看一下,你要抓取的信息,能不能用眼睛看到。
如果能看到,那就能抓,如果看不到,那就抓不了。
四、某某网站能抓不?看第三点。
五、某某 APP 能抓捕?自己搜索一下,这个 APP 有没有网页版。
如果有,返回看第三点。
六、用 webscraper 抓数据,需要翻墙不?抓数据需不需要翻墙,取决于你要抓的网站,需不需要翻墙。
如果你访问的网站,需要fq才能看到内容,那么抓取的时候也就需要fq。反之不用。
比如,抓 Facebook:因为访问Facebook本身就需要fq,所以你抓的时候也需要打开fq软件。
比如,抓知乎:因为访问知乎本身不需要fq,所以你抓的时候也不需要fq。
另:webscraper 安装的话,可以不用翻墙,课程里有讲不用翻墙的安装方法。
七、只能用谷歌浏览器吗?对,我只对谷歌浏览器负责。
虽然有的其他浏览器(QQ浏览器,360浏览器)也能运行 web scraper,但是在我测试过程中,会有一些兼容性问题,会出现一些莫名其妙的错误。
必经不是原生版,出了问题很难分析。
八、能抓微信号、手机号码?参看 第三点。
九、学了这个能抓 某某网站吗?一句话,网页上能看到的信息,99% 都能抓到。
我不会说那种绝对正确、类似能抓取一切的话,事实上,即使你找一个顶尖的爬虫工程师,他也不敢保证,所有的信息都能抓取。
九、如果要别人帮忙抓取数据,你需要提供的信息必须提供详细信息,否则不予理会
1、要抓取的网址链接。为什么要提供这个,参看第三点。
2、要抓取的信息字段,为了不产生歧义,需要截图标注清楚
3、如果有多页,要说明抓多少页
举例——
需求概述:小明要抓取淘宝上关于酸奶的商品信息。
需要提供:
网站链接 —— 如何获取?进入淘宝 www.taobao.com,然后搜索“酸奶”,出现的这个链接,就是爬虫需要的链接,结果链接如下:
https://s.taobao.com/search?q=%E9%85%B8%E5%A5%B6&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.2017.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306
image.png需要抓取这个页面的所有商品,每个商品需要抓取的信息:
产品名称
价格
购买人数
具体截图如下:
image.png搜索结果一共有 100页,只需要抓取前 5 页即可。
image.pngps:上面是个例子,具体情况,可以根据需求改变。比如抓取的字段不同,或者抓取页数不一样等
十、抓取过程中遇到问题,该怎么解决?课程里面不仅讲了如何抓取,也讲了遇到问题的分析,以及解决思路。
遇到问题,先根据课程里讲的步骤分析,基本是能解决问题的。
十一、为什么我抓亚马逊出错了?我在课程里讲第一个例子的时候,就强调了一个重要点:
先不要抓课程之外的网站,等到把课程里的例子,全部练到不用看教程就能抓取成功的熟练程度,再去抓课程之外的网站
不是我故意为难大家,也不是故作高深。
爬虫课,我是按照由浅极深的顺序讲的,每一节的难度都是慢慢增加,每一节都是针对抓取不同类型的数据,也就是课程里的例子全部练熟,就相当于全网的数据类型,你都可以在这里按照方法参照抓取。
每一节课程里的例子,都是我专门挑选的,是这个类别里面最简单的网站。
为什么要挑最简单的,因为大家都是初学 web scraper,如果一开始就选比较复杂的网站,这样抓起来容易出错,出错的话,人的情绪能会受挫。
等到简单的例子熟练了,后面学习复杂的例子,就会得心应手。
我自己听过 xdite 老师的元学习课,所以在「教」方面,有些心得:人在学习新知识的时候,正反馈是很重要的,还有其他一些小技巧,这里不再赘述。
十二、我的一点个人经验学习“技能型”知识的时候,比如webscraper,不要想着练习一次就能学好,学精。
学习任何技能都会有一个从笨拙到熟练的过程,一开始这错那错,都很正常,这是每个人的必经之路。
那些熟练操作的人,都是经过了千万次练习。
如果错了,也不要慌,删掉这个 Sitemap,仔细按照步骤,重新开始。
第一遍如果成功,你就会对整体有个了解,再练习第二遍,就算是同一个例子,你也需要多练习几次。
不要着急,慢就是快,慢就是快。
十三、为什么要学习 web scraper ?如果让我来分享为什么要学习 web scraper,我想会有 2 个原因。
1、锻炼逻辑、分析问题的能力我以前写过一篇文章 没事别想不开去学编程,里面的其他观点我不再赘述,其中有一点:如果你只是想锻炼技术思维,学别的东西也可以锻炼。
我当时写文章的时候,没有想好合适的例子。
这几天,我就突然想到,爬虫课就是一个很好锻炼逻辑能力,锻炼分析问题的能力。
web scraper 是个程序封装的工具,使用的时候,每个步骤都必须很精确。
如何确定要抓取的网页用什么选择器?
如何确定网页上的哪些信息是同一个类型?
遇到问题,如何采用「控制变量法」分析原因,找到解决方案?
这些分析问题的能力,不只能用在抓取数据,也可以通用到任何其他领域。
不要把爬虫课只当成爬虫课来学。
2、增加一个维度竞争力你有没有过这种经历,一个你很仰慕的大佬,在朋友圈发了一个状态,寻求某种帮助,而你刚刚好能提供这种帮助,因此和大佬有了交集,之后大佬如果有一些有料的信息,也会告诉你……
如果你掌握了一门大多数人不会的技能,就会给你增加一个很大的竞争力。
我不是说只有 web scraper 可以,写文案、PS、营销、设计等等都是。
相比较而言,学 web scraper 性价比最高 ——
会的人少:稀缺度决定价值
学习成本小:容易掌握
点到为止,不再多说,愿者上钩。
十四、什么人不适合学?觉得看一遍就行,不想练习的人
不按照教程走,跳着看的人
课程里讲过的东西,群里不再答疑,不能接受的人
不喜欢思考,只喜欢提问的人
十五、为啥私信不回我如果有问题,可以现在群里交流,帮你解决疑惑的同时,也可以让其他人受益,否则请先发红包。
十六、还有什么要说的吗?这不是一篇课程宣传文章,那些煽动情绪,说明课程利益点的文案,这里没有。我连爬虫课的入口都不放出来。因为找到课程入口本身,就是一道门槛。
无码科技团队发布了一款 Chrome 扩展工具。这个工具用于帮助商家快速发现自己产品介绍里的广告违禁词,已兼容最新版广告法。

检查商品描述中可能违反广告法,或可能导致审核不通过的违禁词和高风险词,且支持图片文字识别。

这是我检测这篇文章的结果:

插件安装需要科学上网,如果无法科学上网,可以后台回复“无码科技”,下载安装包。然后打开浏览器进入:chrome://extensions/页面,把安装包拖进去,拖进去,拖进去,不是双击
如果你觉得学习文章有帮助,可以分享给朋友。
感谢~~~
延伸阅读:
分析了10个公众号5600篇文章2000w字,原来它们用这个词最多!

不写代码,你也可以抓取任意公众号

没事别想不开去编程

1 个方法,让你 100% 赚回知识星球门票

添加站长微信:dugu5288,免费送最新网赚资源2000G

独孤求胜为您提供免费互联网资源,网赚教程,副业项目。
独孤求胜 » 有关webscraper的一些问题