selenium操作一个页面的多个并列文章

python selenium操作一个页面的多个并列文章

  • 实现目标
  • 方法
  • 重点
  • 代码:
  • 最后


实现目标

   
对于一个网页中有一连串的文章,想要获取这一连串的文章,通过selenium自动化实现某些功能

方法

右击网页—>检查—>找到下图目标文章块儿的部分


selenium操作一个页面的多个并列文章_第1张图片

然后右击该部分代码,选择Copy—>copy full xpath(得到/html/body/div[6]/main/div[2]/div[2])

selenium操作一个页面的多个并列文章_第2张图片

然后

driver.find_element_by_xpath(/html/body/div[6]/main/div[2]/div[2])

重点

注意:
这样是不够的,因为这里的得到的xpath只是所有文章的父节点(其通过len()发现其长度只是1,所以只能自动化访问第一个页面,后面的就自动化不了),想要访问后面的文章还需在得到的xpath后面添加/div,即选取该父节点的所有div子节点(此时通过len()发现其长度就是总文章篇数了),即:/html/body/div[6]/main/div[2]/div[2]/div,然后就可以获取剩余部分的全部article了。

selenium操作一个页面的多个并列文章_第3张图片

代码:

from selenium import webdriver
from time import sleep

i = 0
def get_all_article():
    global i
    all_articles = driver.find_elements_by_xpath('/html/body/div[6]/main/div[2]/div[2]/div')

    for article in all_articles:
        print('length of article:',len(all_articles))
        i = i + 1
        a = article.find_element_by_tag_name("a")
        href = a.get_attribute('href')
        js='window.open("'+href+'");'
        driver.execute_script(js)
        current_window = driver.current_window_handle
        allHandles = driver.window_handles
        for handle in allHandles:
            if handle != driver.current_window_handle:
                driver.switch_to.window(handle)
                break
       

最后

非常开心又给大家完成了一次分享,剩下的就是…求赞啦!!!都看到这啦,创作不易,留下你们宝贵的赞吧~

其他selenium相关内容见:https://blog.csdn.net/weixin_45386875/article/details/113933541

你可能感兴趣的