很多朋友对于post抓包犯法吗和抓包工具有哪些，能抓什么不太懂，今天就由小编来为大家分享，希望可以帮助到大家，下面一起来看看吧！
python爬虫怎么做
大到各类搜索引擎，小到日常数据采集，都离不开网络爬虫。爬虫的基本原理很简单，遍历网络中网页，抓取感兴趣的数据内容。这篇文章会从零开始介绍如何编写一个网络爬虫抓取数据，然后会一步步逐渐完善爬虫的抓取功能。
工具安装
我们需要安装python，python的requests和BeautifulSoup库。我们用Requests库用抓取网页的内容，使用BeautifulSoup库来从网页中提取数据。
安装python
运行pipinstallrequests
运行pipinstallBeautifulSoup
抓取网页
完成必要工具安装后，我们正式开始编写我们的爬虫。我们的第一个任务是要抓取所有豆瓣上的图书信息。我们以https://book.douban.com/subject/26986954/为例，首先看看开如何抓取网页的内容。
使用python的requests提供的get()方法我们可以非常简单的获取的指定网页的内容,代码如下：
提取内容
抓取到网页的内容后，我们要做的就是提取出我们想要的内容。在我们的第一个例子中，我们只需要提取书名。首先我们导入BeautifulSoup库，使用BeautifulSoup我们可以非常简单的提取网页的特定内容。
连续抓取网页
到目前为止，我们已经可以抓取单个网页的内容了，现在让我们看看如何抓取整个网站的内容。我们知道网页之间是通过超链接互相连接在一起的，通过链接我们可以访问整个网络。所以我们可以从每个页面提取出包含指向其它网页的链接，然后重复的对新链接进行抓取。
通过以上几步我们就可以写出一个最原始的爬虫。在理解了爬虫原理的基础上，我们可以进一步对爬虫进行完善。
写过一个系列关于爬虫的文章：https://www.toutiao.com/i6567289381185389064/。感兴趣的可以前往查看。
Python基本环境的搭建，爬虫的基本原理以及爬虫的原型
Python爬虫入门(第1部分)
如何使用BeautifulSoup对网页内容进行提取
Python爬虫入门(第2部分)
爬虫运行时数据的存储数据，以SQLite和MySQL作为示例
Python爬虫入门(第3部分)
使用seleniumwebdriver对动态网页进行抓取
Python爬虫入门(第4部分)
讨论了如何处理网站的反爬虫策略
Python爬虫入门(第5部分)
对Python的Scrapy爬虫框架做了介绍，并简单的演示了如何在Scrapy下进行开发
Python爬虫入门(第6部分)
抓包工具有哪些，能抓什么
几乎所有浏览器都提供了抓取数据包的功能，因为浏览器为抓包提供了一个专门的操作界面，因此这种抓包方式也被称为“控制台抓包”。本节以Chrome浏览器为例进行抓包演示。
控制台抓包指的是利用浏览器开的发者调试工具抓取客户端与后端服务器交互的数据，它能够将网络传输中发送与接收的数据进行截获、重发和编辑。
控制台抓包非常适合于POST请求类型。我们知道，POST请求使用Form表单向服务器提交数据，通过抓包可以获取POST请求体的数据以及相应参数，从而对响应内容进行分析。下面以有道翻译（http://fanyi.youdao.com/）为例，讲解如何进行控制台抓包。
控制台界面
关于开发者调试工具，您应该不会感到陌生，它除了有检查网页结构、元素构成的功能外，还有许多其他重要功能，比如抓取数据包。下面对如何抓包做重点介绍。
首先访问有道翻译网站，然后使用快捷键F12打开控制台，并找到Network选项卡，最后在有道翻译的输入框内输入“helloworld”进行翻译，控制台主界面如下所示：
图1：开发者调试工具
下面对上图1中控制台的常用选项做简单介绍：
1)NetWork
该选项主要用于抓取网络数据包，比如查看请求信息、响应信息等。它有三个常用选项卡，分别是All、XHR、JS，其作用如下：
All：抓取所有的网络数据包XHR：抓取所有异步加载的网络数据包JS：抓取所有的JS文件2)Sources
该选项主要用于查看页面的HTML、JavaScript、CSS的源代码，除此之外，最重要的是它还可以调试JS源代码，可以给JS代码打断点调试，有助于分析爬虫程序中的一些参数。
3)Console
交互模式，能够执行JavaScript代码，一般用于对当前程序中JS代码进行测试，同时也可以查看JavaScript对象，或者调试日志、异常信息等。
4)Application
该选项用于查看、修改本地存储（LocalStorage）以及会话存储（SessionStroage）等，同时它也可以用来查看Cookie信息。
Cookie是网站服务器为了辨别用户身份，而储存在客户端浏览器上一段加密字符串。某些网站需要用户登录后才可以看到相应的数据。如果想要爬取此类网站的数据，就需要使用Cookie模拟用户登录。
数据包抓取
有道翻译采用了JS异步加载的方式获取翻译结果，并将该结果渲染到指定的输出框内。所谓异步加载，即不需要刷新页面，就可实现页面的局部渲染。对于这样数据，可以通过NetWork的中XHR选项来抓取数据包，并选择查看最后一个数据包，如下图2所示：
图2：抓取数据包
因为异步加载几乎是实时响应的，所以当您在输入框内输入“helloworld”的过程中，每输出一个单词都会向服务器发送一次异步请求（若输出很慢时，一个字母都会发送一次请求），除非您事先将要查询的单词复制好，一次性粘贴到输入框内，只有这样才会得到一个数据包。因此，在这里选择了最后一个数据包进行分析。
接下来，对上图2中常用选项做简单介绍：Headers用来描述整个请求信息，Preview用来对响应内容进行预览，Response用于查看响应内容，Cookies用于查看客户端Cookie信息。
图3：预览响应内容
看变化规律
在有道翻译的输入框内多输入几个单词或者汉字，查看FormData的变换规律。你会发现有些参数的值总是变化的，而有些参数值没有变化，比如salt、sign、lts总是变化的，而bv等参数是不变化的，而参数i代表用户输入的单词。如下所示：
i:helloworld#你输入的单词salt:16161405904876sign:a6f9d57d297acc79f31b049e2a542519lts:1616140590487bv:cda1e53e0c0eb8dd4002cefc117fa588
经过分析，最终您会发现如下规律：lts代表毫秒时间戳；salt和lts之间存在着某种关联，因为两者只有最后一个数字是不同的；而sign对应的值是一个加密后的字符串。在下一节我们将讲解如何破解有道翻译，将它作为API接口实现在线实时翻译。
抓包是分析请求、响应数据，以及监视HTTP(S)通信的常用方法，它能够帮助我们明确要请求的URL、请求参数/参数值、Cookies，以及其他响应信息，这对于构建POST请求方法十分重要。
除了使用浏览器自带的调试工具外，您也可以使用Fiddler抓包工具，这款软件不仅适用于Web抓包，同样也适用于手机移动端抓包。
关于post抓包犯法吗的内容到此结束，希望对大家有所帮助。