当前位置:首页python > 正文

python读取csv中url

作者:野牛程序员:2023-07-24 07:44:08python阅读 2845

要读取一个CSV文件中的URL,你可以使用Python内置的csv模块和requests模块来实现。csv模块用于解析CSV文件,而requests模块用于获取URL的内容。

首先,请确保已经安装了requests模块。如果没有安装,可以使用以下命令来安装:

pip install requests

接下来,假设CSV文件名为urls.csv,其中包含了一个名为url的列,里面存储了要读取的URL。可以按照以下步骤来读取CSV中的URL并获取其内容:

import csv
import requests

def read_urls_from_csv(csv_file):
    urls = []
    with open(csv_file, 'r') as file:
        csv_reader = csv.DictReader(file)
        for row in csv_reader:
            url = row.get('url')
            if url:
                urls.append(url)
    return urls

def get_url_content(url):
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
        else:
            print(f"Failed to fetch URL: {url} with status code: {response.status_code}")
            return None
    except requests.exceptions.RequestException as e:
        print(f"Error occurred while fetching URL: {url}, Error: {e}")
        return None

if __name__ == "__main__":
    csv_file_name = "urls.csv"
    urls = read_urls_from_csv(csv_file_name)
    
    for url in urls:
        content = get_url_content(url)
        if content:
            # 这里你可以处理获取到的内容,比如打印、存储到文件等
            print(f"Content of {url}:")
            print(content)

以上代码首先定义了两个函数:read_urls_from_csv用于从CSV文件中读取URL,get_url_content用于获取URL的内容。然后在if __name__ == "__main__":块中,读取CSV文件中的URL,并逐个获取它们的内容并进行处理。

请注意,如果CSV文件不是按照上面的假设组织的,可能需要适当地调整read_urls_from_csv函数中的代码,以确保它正确地从CSV文件中提取URL。


野牛程序员教少儿编程与信息学奥赛-微信|电话:15892516892
野牛程序员教少儿编程与信息学竞赛-微信|电话:15892516892
相关推荐

最新推荐

热门点击