博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python检测URL状态
阅读量:6180 次
发布时间:2019-06-21

本文共 1924 字,大约阅读时间需要 6 分钟。

Python检测URL状态,并追加保存200的URL:

1.Requests

#! /usr/bin/env python#coding=utf-8import sysimport requestsdef getHttpStatusCode(url):    try:        request = requests.get(url)        httpStatusCode = request.status_code        return httpStatusCode    except requests.exceptions.HTTPError as e:        return eif __name__ == "__main__":    with open('1.txt', 'r') as f:        for line in f:            try:                status = getHttpStatusCode(line.strip('\n'))#换行符                if status == 200:                    with open('200.txt','a') as f:                        f.write(line + '\n')                        print line                else:                    print 'no 200 code'            except Exception as e:                print e

  

1 #! /usr/bin/env python 2 # -*--coding:utf-8*- 3  4 import requests 5  6 def request_status(line): 7     conn = requests.get(line) 8     if conn.status_code == 200: 9         with open('url_200.txt', 'a') as f:10             f.write(line + '\n')11         return line13     else:14         return None15 16 17 if __name__ == '__main__':18     with open('/1.txt', 'rb') as f:19         for line in f:20             try:21                 purge_url = request_status(line.strip('\n'))22             except Exception as e:23                 pass

2.Urllib

#! /usr/bin/env python#coding:utf-8import os,urllib,linecacheimport sysresult = list()for x in linecache.updatecache(r'1.txt'):    try:       a = urllib.urlopen(x.replace('/n','')).getcode()       #print x,a    except Exception,e:        print e    if a == 200:        #result.append(x)                             #保存        #result.sort()                                       #排序结果        #open('2.txt', 'w').write('%s' % '\n'.join(result)) #保存入结果文件        with open ('200urllib.txt','a') as f: ## r只读,w可写,a追加            f.write(x + '\n')    else:        print 'error'

 

转载于:https://www.cnblogs.com/mullerchen/p/6528752.html

你可能感兴趣的文章
SQL CHECK 约束
查看>>
git提交到一半关闭时
查看>>
WMware 10 Ubuntu 12.04 进入Unity模式
查看>>
简单通用的访问CVS的方法
查看>>
kbengine mmo源码(完整服务端源码+资源+完整客户端源码)
查看>>
【操作系统】实验四 主存空间的分配和回收
查看>>
Log4j 配置 的webAppRootKey参数问题
查看>>
VMware ESXi 5.0中时间配置中NTP设置
查看>>
C++中memset()函数笔记
查看>>
oracle sql 数结构表id降序
查看>>
使用cnpm加速npm
查看>>
MySql跨服务器备份数据库
查看>>
一个字典通过dictionaryWithDictionary 他们的内存指针是不同的
查看>>
HTTP 错误 500.0的解决方法。
查看>>
CCF201612-1 中间数(解法三)(100分)
查看>>
百度前端任务一学习的知识
查看>>
C# 四个字节十六进制数和单精度浮点数之间的相互转化
查看>>
JavaNIO的总结
查看>>
阿里云总监课第五期PPT下载地址
查看>>
时间属性
查看>>