一般爬虫都不会抓登录以后的页面，如果你只是临时抓某个站，可以模拟登录，然后拿到登录以后的Cookies，再去请求相关的页面。
java爬虫怎么抓取登陆后的网页数据
一般爬虫都不会抓登录以后的页面，
如果你只是临时抓某个站，可以模拟登录，然后拿到登录以后的Cookies，再去请求相关的页面。2015-07-10
1、首先抓包获取登录的url，新建post请求
2、设置用户名和密码参数
3、发起请求
4、获取返回值和cookie
5、新建抓取数据的请求
6、设置请求头
7、通过抓包，得知参数是通过form data方式传递还是通过request payload方式，form data方式就是通过键值对 NameValuePair、UrlEncodedFormEntity的方式，如果是request payload方式的话，则需要字符流StringEntity的方式了。
8、执行请求就可以获取到我们要的数据了2021-07-29
