python读取csv中url
作者:野牛程序员:2023-07-24 07:44:08python阅读 2845
要读取一个CSV文件中的URL,你可以使用Python内置的csv
模块和requests
模块来实现。csv
模块用于解析CSV文件,而requests
模块用于获取URL的内容。
首先,请确保已经安装了requests
模块。如果没有安装,可以使用以下命令来安装:
pip install requests
接下来,假设CSV文件名为urls.csv
,其中包含了一个名为url
的列,里面存储了要读取的URL。可以按照以下步骤来读取CSV中的URL并获取其内容:
import csv import requests def read_urls_from_csv(csv_file): urls = [] with open(csv_file, 'r') as file: csv_reader = csv.DictReader(file) for row in csv_reader: url = row.get('url') if url: urls.append(url) return urls def get_url_content(url): try: response = requests.get(url) if response.status_code == 200: return response.text else: print(f"Failed to fetch URL: {url} with status code: {response.status_code}") return None except requests.exceptions.RequestException as e: print(f"Error occurred while fetching URL: {url}, Error: {e}") return None if __name__ == "__main__": csv_file_name = "urls.csv" urls = read_urls_from_csv(csv_file_name) for url in urls: content = get_url_content(url) if content: # 这里你可以处理获取到的内容,比如打印、存储到文件等 print(f"Content of {url}:") print(content)
以上代码首先定义了两个函数:read_urls_from_csv
用于从CSV文件中读取URL,get_url_content
用于获取URL的内容。然后在if __name__ == "__main__":
块中,读取CSV文件中的URL,并逐个获取它们的内容并进行处理。
请注意,如果CSV文件不是按照上面的假设组织的,可能需要适当地调整read_urls_from_csv
函数中的代码,以确保它正确地从CSV文件中提取URL。
野牛程序员教少儿编程与信息学奥赛-微信|电话:15892516892

- 上一篇:python获取csv文件中某一列
- 下一篇:python读取csv某几列