JS代码网1.Python怎么获取js动态加载的数据
利用WebBrowser控件来获取js动态加载的数据：
首先，我要在DocumentCompleted事件里面完成内容获取的工作，因为该控件是在文档加载完成后触发的。其次，这个事件有个问题，就是说如果在页面中有iframe框架之类的，如果这个iframe加载完成也会触发这个事件，所以我们要做个判断：
if (wb.ReadyState == WebBrowserReadyState.Complete && e.Url.ToString() == wb.Url.ToString())
wb.Document.Body.InnerHtml；//这样就获取到数据了
2.如何用python爬取网页中隐藏的div内容
你说的隐藏的div内容，应该是动态加载的数据吧，不在网页源码中显示，只在加载网页时才请求数据进行显示，一般情况下，这种数据都保存在一个json文件中，只要抓包分析出这个json文件的url地址，然后再根据json文件结构进行解析，很快就能获取到动态加载的div数据，下面我以爬取人人贷上面的散标数据为例，简单介绍一下python如何爬取div动态加载的数据，实验环境win10+python3。
6+pycharm5。0，主要步骤如下：1。
首先，打开散标数据，如下，爬取的信息主要包括年利率、借款标题、期限、金额和进度这5个字段信息：右键对应元素进行检查，可以看出所有的数据嵌套在div标签中，如下：打开网页源码，我们按Ctrl+F查找对应的数据，会发现所查找的数据都未在网页源码中，如下，即数据都是动态加载，所以直接解析原网页是找不到div嵌套的数据的：2。 接着，我们按F12调出开发者工具，依次点击“Network”->“XHR”,F5刷新页面，就会看到动态加载的json文件，查看这个文件，内容如下，左边为json文件的url地址，右边就是我们需要爬取的div数据：3。
最后对应上面的json文件，我们就可以直接获取并解析json了，这里主要用到requests和json这2个模块，其中requests用于根据url地址获取json文件，json用于解析json文件，提取出我们所需要的信息，即div动态加载的数据，测试代码如下，非常简单：运行程序，截图如下，已经成功爬取到div加载的数据：至此，我们就完成了利用python爬取div动态加载的数据。 总的来说，整个过程非常简单，最主要的还是抓包分析，只要你有一定的爬虫基础，熟悉一下上面的代码，多调试几遍程序，很快就能掌握的，当然，你也可以使用selenium进行爬取，直接解析就行，网上也有相关教程和资料可供参考，非常丰富，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言。
3.爬虫怎么爬取js动态生成的数据
我用Jsoup写爬虫，一般遇到html返回没有的内容。但是浏览器显示有的内容。都是分析页面的,get到的内容就是全部内容了，而且下一页会对应另外一个网址，接下来get它就行了。
绝大多数网页会有一些动态特性，比如，下一页网址不是一个独立的网址，简单点的可能是用onclick实现的，那么就不能利用网址直接get了，在python环境下，有很多driver，可以很好地模拟浏览器的行为
如果网页内容也是动态加载的，而且随着用户行为不同而不断变化，那么光get一个html document是不行的，此时就需要一个判断机制，什么时候网页上的内容显示全了？可以执行提取动作了？简单的实现就是等一个确定的时间；复杂一点的可以监控窗口事件，定一个判断标准，到时候就启动提取。要防止漏采，又要尽可能避免无谓的等待
5.我在写一个python的网络爬虫,写入记事本的内容都是乱码如何使写入
我从自己一个utf8的爬虫程序里面摘的。
程序开头：
#!/usr/bin/env python
# -*- coding:utf8 -*-
import urllib
import urllib2
import string
import re
import sys
type0 = sys.getfilesystemencoding（) #解决中文乱码问题
后面做抓取程序的时候全部加上decode和encode。
pos1 = text.find(term.decode("utf-8").encode(type0))
在输入到txt的时候相应的分隔符也要decode和encode:
f.write(info+'!'.decode("utf-8").encode(type0))
希望能帮到你。