id
name
processing priority
4
site type
0 (generic, awaiting analysis)
review version
11
html import
27 (unknown)
first seen date
2024-01-21 04:58:02
expired found date
-
created at
2024-06-21 08:27:26
updated at
2024-06-21 08:27:26
length
11
crc
61638
tld
2211
nm parts
0
nm random digits
0
nm rare letters
0
is subdomain of id
-
previous id
0
replaced with id
0
related id
-
dns primary id
dns alternative id
0
lifecycle status
0 (unclassified, or currently active)
deleted subdomains
0
page imported products
0
page imported random
0
page imported parking
0
count skipped due to recent timeouts on the same server IP
0
count content received but rejected due to 11-799
0
count dns errors
0
count cert errors
0
count timeouts
0
count http 429
0
count http 404
0
count http 403
0
count http 5xx
0
next operation date
2025-08-22 04:38:44
server bits
—
server ip
-
mp import status
27
mp rejected date
-
mp saved date
-
mp size orig
6433
mp size raw text
2035
mp inner links count
0
mp inner links status
1 (no links)
title
description
image
site name
author
updated
2026-01-26 10:13:10
raw text
绿色先锋个人技术 绿色先锋 https://www.greenxf.com/ 个人信息 昵称：绿色先锋 网龄：12年 粉丝：3个 关注：2个 文章内容 爬虫的基本流程 http协议 请求与响应 request 响应Response 本网站绿色先锋旨在分享个人技术方面的一些东西，目的是能为大家解除一部分的疑惑。 备案编号： 沪ICP备18003587号-6 绿色先锋个人技术 本网站绿色先锋旨在分享个人技术方面的一些东西，目的是能为大家解除一部分的疑惑。 技术分享 Python是一款现在比较火爆的语言，在数据的处理方面非常的有优势，如果你学会了这门语言，在工作做还是能帮助到你很多的。分享下爬虫如何编写 爬虫的基本流程 用户获取网络数据的方式： 方式1：浏览器提交请求--->下载网页代码--->解析成页面 方式2：模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中爬虫要做的就是方式2； 1、发起请求 使用http库向目标站点发起请求，即发送一个Request Request包含：请求头、请求体等 Request模块缺陷：不能执行JS 和CSS 代码 2、获取响应内容 如果服务器能正常响应，则会得到一个Response Response包含：html，json，图片，视频等 3、解析内容 解析html数据：正则表达式（RE模块），第三方解析库如Beautifulsoup，pyquery等 解析json数据：json模块 解析二进制数据:以wb的方式写入文件 4、保存数据 数据库（MySQL，Mongdb、Redis） 文件 三、http协议 请求与响应 Request：用户将自己的信息通过浏览器（socket client）发送给服务器（socket server） Response：服务器接收请求，分析用户发来的请求信息，然后返回数据（返回的数据中可能包含其他链接，如：图片，js，css等） ps：浏览器在接收Response后，会解析其内容来显示给用户，而爬虫程序在模拟浏览器发送请求然后接收Response后，是要提取其中的有用数据。 四、 request 1、请求方式： ...
redirect type
0 (-)
block type
0 (no issues)
detected language
126 (language undetectable (empty document, too short, or engines disagree))
category id
Non-Latin articles (251)
index version
2025123101
spam phrases
0
text nonlatin
1049
text cyrillic
0
text characters
1579
text words
227
text unique words
190
text lines
86
text sentences
1
text paragraphs
0
text words per sentence
227
text matched phrases
0
text matched dictionaries
0
links self subdomains
0
links other subdomains
0
links other domains
0
links spam adult
0
links spam random
0
links spam expired
0
links ext activities
0
links ext ecommerce
0
links ext finance
0
links ext crypto
0
links ext booking
0
links ext news
0
links ext leaks
0
links ext ugc
0
links ext klim
0
links ext generic
2
dol status
0
dol updated
2026-01-26 10:13:10
rss path
rss status
0 (new)
rss found date
-
rss size orig
0
rss items
0
rss spam phrases
0
rss detected language
0 (awaiting analysis)
inbefore feed id
-
inbefore status
0 (new)
sitemap path
sitemap status
0 (new)
sitemap review version
2
sitemap urls count
0
sitemap urls adult
0
sitemap filtered products
0
sitemap filtered videos
0
sitemap found date
-
sitemap process date
-
sitemap first import date
-
sitemap last import date
-