CCSEO原创蜘蛛统计v1.3

ccseo蜘蛛统计，不仅仅是蜘蛛统计。

本版本对比历史版本，有如下升级点：

1、首页增加自定义记录蜘蛛的功能，可自定义是否记录蜘蛛；

2、修改强引配置项存储路径,，及优化其他代码；

友情提示：本次升级是因为部分站点访问量过大，但蜘蛛抓取数据却相对较少，导致记录的蜘蛛数量仅为访客的1/10，因此失去了蜘蛛统计的实用性。为解决这一问题，我们新增了自定义记录蜘蛛类型的功能。然而，对于大部分小站点而言，访客数量超过蜘蛛数量，这很可能是由垃圾爬虫抓取或异常扫描所致。这些情况常需要引起注意，并采取反爬虫措施，以免浪费服务器资源。

程序介绍

参考市面上所有蜘蛛统计程序及宝塔付费蜘蛛统计的优点，特做出本款蜘蛛统计。

正规程序适用于一切站点，100%全开源，100%无后门，所有代码带AI注释方便二开。

程序的特点包括不限于：

蜘蛛统计部分

对访客、百度、搜狗、360、神马、谷歌、bing蜘蛛的统计，可自定义统计蜘蛛类型；

对今日蜘蛛、昨日蜘蛛、前日蜘蛛、近一小时蜘蛛的统计；

对以上数据，根据规则及分蜘蛛类型（不限制、pc、移动）的搜索及筛选；

对当天每种蜘蛛多数量，平均每小时的数量，蜘蛛间隔时间的统计，以及预测今天还回来多少蜘蛛；

对被抓取页面的top30的统计，点击链接即可跳转到蜘蛛统计的规则筛选；

在添加筛选规则后，可自定义时间段（1天、3天、一周、半个月、一个月、一个季度）;

根据自定义ip段及ua对真假蜘蛛的识别判定；

根据抓取的ip，依托纯真ip数据库对ip真实位置的判定；

对被抓取页面状态码、响应时间、文件大小、来路（Referer）的记录；

根据ip反查DNS，用于人工手动二次判定真假蜘蛛；

依托chart.js对以上数据以可视化的环形图、柱形图、线形图等图例展现。

分域名统计，在对几十、数百域名进行蜘蛛统计时，可依托数据可视化图标，及可自动排序的表格，进行分域名蜘蛛数量的统计。

强引部分

备注：301、302重定向，暂且简称强引。

可自定义开启强引；

可自定义强引概率；

可指定蜘蛛进行强引；

可自定义蜘蛛强引类型（pc、移动）

可自定义强引状态码：301、302

可自定义强引规则：只有满足条件的url才会被强引，以英文逗号(,)分割，留空即可强引全部；

可自定义强引记录，并等同蜘蛛统计的展现形式；

强引出去的链接，支持标签：{年}、{月}、{日}、{时}、{分}、{秒}、{数字n}、{字母n}、{字符n}

使用方法

首先修改spider的文件夹名称，修改成你需要的任意名称即可。

在泛目录的泛文件（常见index.php、show.php、404.php）载入如下代码：

require_once('./spider/spider.php');

程序截图

由于引用的chart.js开源可视化，图标统计样式是随机的，所以左上侧的图布并不代表最终效果。

其中蜘蛛统计数据可视化颜色为蓝色，强引（301、302）统计为紫色

首页

蜘蛛预测

抓取排行

蜘蛛统计

分域名统计

蜘蛛详情

蜘蛛配置

强引配置

强引统计

程序构造

100%无后门，禁止传播本统计！

文件夹

ip文件夹：包含权重蜘蛛ip段文本、纯真IP库、调用纯真IP库的php；

log文件夹：包含蜘蛛统计日志；

log_go文件夹：包含强引蜘蛛记录日志；

JS

chart.js：开源数据可视化JS，可参考：<script src="https://cdn.jsdelivr.net/npm/chart.js"></script>

PHP

config/draw.php：强引配置项；

config/record.php：记录蜘蛛配置项；

spider.php：判断记录日志与强引

index.php：主页

header.php：页头

footer.php：页尾

log.ph：记录蜘蛛日志；

log_go.php：记录强引日志；

log_del.php：删除日志；

show.php：展示蜘蛛统计；

show_go.php：展示强引记录；

handle.php：配置ip文件夹内的权重蜘蛛txt；

option.php：强引设置页面；

function.php：通过规则构造链接，构造日志目录；

get_dns.php:通过IP反查DNS；

下载链接

下载仅供技术交流、学习探讨，请勿用于非法用途！请在下载后24小时内删除！