本站所有内容仅限用于学习和研究目的,如有侵权请邮件与我们联系处理!
世上事本无难易,为之则易!

网站首页 蜘蛛池 蜘蛛池程序 正文

CCSEO原创蜘蛛统计v1.3

曹操 2024-04-01 蜘蛛池程序 2756 ℃ 111 评论 2207字 free 收藏

ccseo蜘蛛统计,不仅仅是蜘蛛统计。

本版本对比历史版本,有如下升级点:

1、首页增加自定义记录蜘蛛的功能,可自定义是否记录蜘蛛;

2、修改强引配置项存储路径,,及优化其他代码;

友情提示:本次升级是因为部分站点访问量过大,但蜘蛛抓取数据却相对较少,导致记录的蜘蛛数量仅为访客的1/10,因此失去了蜘蛛统计的实用性。为解决这一问题,我们新增了自定义记录蜘蛛类型的功能。然而,对于大部分小站点而言,访客数量超过蜘蛛数量,这很可能是由垃圾爬虫抓取或异常扫描所致。这些情况常需要引起注意,并采取反爬虫措施,以免浪费服务器资源。

CCSEO原创蜘蛛统计v1.3-第1张图片

程序介绍

参考市面上所有蜘蛛统计程序及宝塔付费蜘蛛统计的优点,特做出本款蜘蛛统计。

正规程序适用于一切站点,100%全开源,100%无后门,所有代码带AI注释方便二开。

程序的特点包括不限于:

蜘蛛统计部分

对访客、百度、搜狗、360、神马、谷歌、bing蜘蛛的统计,可自定义统计蜘蛛类型

对今日蜘蛛、昨日蜘蛛、前日蜘蛛、近一小时蜘蛛的统计;

对以上数据,根据规则及分蜘蛛类型(不限制、pc、移动)的搜索及筛选;

对当天每种蜘蛛多数量,平均每小时的数量,蜘蛛间隔时间的统计,以及预测今天还回来多少蜘蛛;

对被抓取页面的top30的统计,点击链接即可跳转到蜘蛛统计的规则筛选;

在添加筛选规则后,可自定义时间段(1天、3天、一周、半个月、一个月、一个季度);

根据自定义ip段及ua对真假蜘蛛的识别判定;

根据抓取的ip,依托纯真ip数据库对ip真实位置的判定;

对被抓取页面状态码、响应时间、文件大小、来路(Referer)的记录;

根据ip反查DNS,用于人工手动二次判定真假蜘蛛;

依托chart.js对以上数据以可视化的环形图、柱形图、线形图等图例展现。

分域名统计,在对几十、数百域名进行蜘蛛统计时,可依托数据可视化图标,及可自动排序的表格,进行分域名蜘蛛数量的统计。

强引部分

备注:301、302重定向,暂且简称强引。

可自定义开启强引;

可自定义强引概率;

可指定蜘蛛进行强引;

可自定义蜘蛛强引类型(pc、移动)

可自定义强引状态码:301、302

可自定义强引规则:只有满足条件的url才会被强引,以英文逗号(,)分割,留空即可强引全部;

可自定义强引记录,并等同蜘蛛统计的展现形式;

强引出去的链接,支持标签:{年}、{月}、{日}、{时}、{分}、{秒}、{数字n}、{字母n}、{字符n}

使用方法

首先修改spider的文件夹名称,修改成你需要的任意名称即可。

在泛目录的泛文件(常见index.php、show.php、404.php)载入如下代码:

require_once('./spider/spider.php');

程序截图

由于引用的chart.js开源可视化,图标统计样式是随机的,所以左上侧的图布并不代表最终效果。

其中蜘蛛统计数据可视化颜色为蓝色,强引(301、302)统计为紫色

首页

CCSEO原创蜘蛛统计v1.3-第2张图片

蜘蛛预测

CCSEO原创蜘蛛统计v1.3-第3张图片

抓取排行

CCSEO原创蜘蛛统计v1.3-第4张图片

蜘蛛统计

CCSEO原创蜘蛛统计v1.3-第5张图片

分域名统计

CCSEO原创蜘蛛统计v1.3-第6张图片

蜘蛛详情

CCSEO原创蜘蛛统计v1.3-第7张图片

蜘蛛配置

CCSEO原创蜘蛛统计v1.3-第8张图片

强引配置

CCSEO原创蜘蛛统计v1.3-第9张图片

强引统计

CCSEO原创蜘蛛统计v1.3-第10张图片

程序构造

100%无后门,禁止传播本统计!

文件夹

ip文件夹:包含权重蜘蛛ip段文本、纯真IP库、调用纯真IP库的php;

log文件夹:包含蜘蛛统计日志;

log_go文件夹:包含强引蜘蛛记录日志;

JS

chart.js:开源数据可视化JS,可参考:<script src="https://cdn.jsdelivr.net/npm/chart.js"></script>

PHP

config/draw.php:强引配置项;

config/record.php:记录蜘蛛配置项;

spider.php:判断记录日志与强引

index.php:主页

header.php:页头

footer.php:页尾

log.ph:记录蜘蛛日志;

log_go.php:记录强引日志;

log_del.php:删除日志;

show.php:展示蜘蛛统计;

show_go.php:展示强引记录;

handle.php:配置ip文件夹内的权重蜘蛛txt;

option.php:强引设置页面;

function.php:通过规则构造链接,构造日志目录;

get_dns.php:通过IP反查DNS;

下载链接

下载仅供技术交流、学习探讨,请勿用于非法用途!请在下载后24小时内删除!

VIP专属内容
永久赞助学员 免费查看
开通会员
开通永久赞助学员可查看该内容
该内容VIP会员可见,您未登录,请先登录
目录导航
  • 程序介绍
    • 蜘蛛统计部分
    • 强引部分
  • 使用方法
  • 程序截图
    • 首页
    • 蜘蛛预测
    • 抓取排行
    • 蜘蛛统计
    • 分域名统计
    • 蜘蛛详情
    • 蜘蛛配置
    • 强引配置
    • 强引统计
  • 程序构造
    • 文件夹
    • JS
    • PHP
  • 下载链接

  • Tags:蜘蛛统计蜘蛛池泛目录搜狗seo蜘蛛爬虫抓取服务器

    必看说明

    • 本站中所有被研究的素材与信息全部来源于互联网,版权争议与本站无关。
    • 本站文章或仅为文本内容原创,非程序原创。如有侵权、不妥之处,请联系站长第一时间删除。敬请谅解!
    • 本站所有内容严格遵守国家法律的条例,所有研究的算法技术均来源于搜索引擎公开默认允许用户研究使用的接口。
    • 阅读本文及获取资源前,请确保您已充分阅读并理解《访问曹操SEO网站需知:行为准则》。
    • 本站分享的任何工具、程序仅供学习参考编写架构,仅可在本地的虚拟机内断网测试,严禁联网运行或上传搭建!
    • 任何资源必须在下载后24个小时内,从电脑中彻底删除。不得传播或者用于其他任何用途!否则一切后果用户自负!
    • 转载请注明 : 文章转载自  曹操SEO CCSEO原创蜘蛛统计v1.3
    • 本文标题:《CCSEO原创蜘蛛统计v1.3》
    • 本文链接:https://ccooc.cn/457.html

    已有111位网友发表了看法:

    • 小熊猫

      小熊猫  评论于 [2024-05-20 13:16:57]  回复

      喜欢喜欢喜欢喜欢

    • skkkkk

      skkkkk  评论于 [2024-05-11 08:23:28]  回复

      喜欢

    • zxw168

      zxw168  评论于 [2024-05-10 17:49:25]  回复

      喜欢喜欢喜欢喜欢

    • jinsheng

      jinsheng  评论于 [2024-04-15 14:52:04]  回复

      牛逼 很不错

    • 熊大

      熊大  评论于 [2024-04-13 01:38:15]  回复

      牛逼牛逼牛逼牛逼牛逼

    • kain

      kain  评论于 [2024-04-11 21:09:12]  回复

      喜欢喜欢喜欢喜欢

    • skkkkk

      skkkkk  评论于 [2024-04-07 16:40:20]  回复

      这个好

    • 小熊猫

      小熊猫  评论于 [2024-04-01 15:17:33]  回复

      喜欢喜欢喜欢喜欢

    欢迎 发表评论:

    网站分类
    近期评论
    文章归档
    标签列表
    站点信息
    • 文章总数:2022
    • 页面总数:7
    • 分类总数:46
    • 标签总数:340
    • 评论总数:27592
    • 浏览总数:5355403