python爬虫点击下一页代码

import requests
from bs4 import BeautifulSoup

url = "目标网页URL"
page_number = 1

while True:
    # 构造请求链接
    page_url = f"{url}?page={page_number}"

    # 发送请求
    response = requests.get(page_url)

    # 检查请求是否成功
    if response.status_code == 200:
        # 使用BeautifulSoup解析页面内容
        soup = BeautifulSoup(response.text, 'html.parser')

        # 在这里提取需要的信息，并进行相应处理

        # 假设有一个条件判断来检查是否有下一页按钮存在
        if soup.find('下一页按钮的标识'):
            page_number += 1
        else:
            break
    else:
        print(f"请求失败，状态码: {response.status_code}")
        break

请替换代码中的"目标网页URL"和"下一页按钮的标识"为实际的网页链接和下一页按钮的标识。此代码基于假设网页采用了分页的形式，并通过修改URL参数来实现翻页。在实际使用中，可能需要根据目标网站的具体结构和特点进行适当的修改。