使用Selenium在服务器上对网页截图

1
2
3
#### 2. 服务器端没有Xwindow如何截图
xvfb工具相当于一个wrapper， 给应用程序提供虚拟的 X server
 Xvfb 可以直接处理 Window 的图形化功能，並且不會把图像输出到屏幕上，也就是说，就算你的电脑沒有启动 Xwindow ， 你仍然可以执行图形程序。

1
2
3
4
#### 3. 浏览器的选择
PhantomJs、Firefox、Chrome

`apt-get install phantomjs`

1
2
为什么不用PhantomJs:       动态加载页面效果不好
chrome 使用前需要先下载一个chromedriver， 并在使用时指定该文件

1
2
*  firefox 版本问题
在使用selenium和Firefox组合的时候很多情况下会遇到兼容问题，比如下面这种：

1
2
3
4
5
6
7
8
解决办法:
* 升级selenium
* 安装firefox旧版本
https://www.liberiangeek.net/2012/04/how-to-install-previous-versions-of-firefox-in-ubuntu-12-04-precise-pangolin/

#### 4. 截图时遇到的一些问题：
* 长网页截图
对于一些比较长的网页，为了节省网页加载时间，很多下面的内容只有在你下滑到那个地方的时候才会加载，我们可以用browser执行一段js代码来实现滚动条的滚动

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
            function f() {
                if (y < document.body.scrollHeight) {
                    y += step;
                    window.scroll(0, y);
                    setTimeout(f, 50);
                } else {
                    window.scroll(0, 0);
                    document.title += "scroll-done";
                }
            }

            setTimeout(f, 1000);
        })();
    """) ``` * 弹窗 可以在预期有弹窗的网页捕获弹窗并关闭 ```Python from selenium.common.exceptions import NoAlertPresentException  # 2.16版本以上 browser.get(url)   # Load page alert = browser.switch_to.alert try:
alert.dismiss() except NoAlertPresentException:
pass ``` * 视频播放 or 长时间无响应 1. set timeout `browser.set_page_load_timeout(3*60)` 2. 函数计时装饰器 ``` def timeout(seconds, error_message="Timeout Error: the cmd 30s have not finished."):
def decorated(func):
    result = ""

    def _handle_timeout(signum, frame):
        global result
        result = error_message
        raise TypeError(error_message)

    def wrapper(*args, **kwargs):
        global result
        signal.signal(signal.SIGALRM, _handle_timeout)
        signal.alarm(seconds)

        try:
            result = func(*args, **kwargs)
        finally:
            signal.alarm(0)
            return result
        return result

    return functools.wraps(func)(wrapper)

return decorated

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
* 不通国家打开内容不一样——代理

* Firefox
可以设置http代理、ssl代理和socks代理
```Python
profile = webdriver.FirefoxProfile()
profile.set_preference('network.proxy.type', 1)
# profile.set_preference("network.proxy.http", "127.0.0.1")
# profile.set_preference("network.proxy.http_port", 1080)
# profile.set_preference("network.proxy.ssl", "127.0.0.1")
# profile.set_preference("network.proxy.ssl_port", 1080)
profile.set_preference('network.proxy.socks', "127.0.0.1")
profile.set_preference('network.proxy.socks_port', 1080)
profile.update_preferences()

browser = webdriver.Firefox(firefox_profile=profile)

1
2
3
4
5
* 网页跳转
1. find element  ,  by_id, by_div, by_class, by_xpath
2. click， 点击元素跳转网页
3. switch handler， browser切换到新打开的网页。

1
2
3
4
*  产生大量缓存文件
selenium执行时会在/tmp文件夹产生大量的浏览器临时文件，关闭程序后并没有自动清楚。
解决办法：
每次运行前自动清理/tmp文件夹,  递归删除