“千万”URL库的误区
2018-06-15 来源:
上网行为管理产品并不是市场卖白菜,越便宜URL库越多就越好!充斥市场的上网行为管理产品越来越多,网址过滤功能更是众产品炫耀的资本,但是实际的效果如何,且看本文详解。
为什么都在拿URL库说事儿?
据统计Google互联网独立页面数量已经超过1万亿,互联网上每天新增加数十亿个网页。如此狂野的数字面对部分厂商所宣传的“千万”URL库,又显的多么单薄,如图。
“千万”URL
库分类缺少细化
在Google里搜索“腾讯”二字,可以在短短的0.09秒内查询到1亿5千万条以上;在庞大的网络大军中“千万”只能是个找零的数字,每天的更新又岂能用数字来形容,URL库根本不能进行所谓的有效覆盖。
不可否认的一点,上网行为管理产品对网页的过滤主要是通过URL库来实现的,同样传统的URL库也存在着不足和漏洞,这就需要一个好的机制来弥补。
让我们来看看网页过滤是如何工作的。
1、 域名比对
这是最基础的过滤方式,终端用户在访问网页时与已有库中的URL进行对照,从一级域名开始到二级域名到层层后缀,依次向下。大家可以设想一下,如果我访问一个URL库中存在的地址,通过算法在前几级域名中会很容易的比对上,进行控制,大多数的情况是我访问了一个URL地址库中间没有的网页,要怎么办呢?这时根据网页的内容进行URL的自动判断和智能分类就显得尤为重要了。
2、 加密URL
(即HTTPS)的问题上,HTTPS最初是面向有安全保障需要所提供的服务,随着行为管理设备的出现,众多的赌博网站甚至xxx网站纷纷采用了HTTPS,传统URL对此类网址只有无奈。因为一旦将HTTPS全部封堵,会影响很多网上银行、网上营业厅等正常的HTTPS应用。所以,用户在选择上网行为管理产品时,必须确认该产品是否能识别和过滤HTTPS类加密的URL及加密应用(如Skype,加密BT等),否则随着技术的发展,HTTPS和加密应用越来越多,不能对此管控的产品形同虚设。
3、 IP网址+端口
许多被访问的网站因为没有经过正规域名备案或提供非法访问链接,只能通过使用动态或静态IP来直接提供访问,这样的地址URL库束手无策,原因何在?IP地址有可能不止提供了一个web服务,对此进行网址管理的后果会直接导致很多正常的访问受限制。
类似像URL库的这种管理方式,其实已经是一种过时的管理方式,任何一个厂家如果需要搜集庞大的URL库并非难事,而这种管理并非是每一个客户能所认可的。因此,相信通过以上一些内容,我们可以得出一个结论:面对海量的互联网网址,靠URL库方式进行阻断已经不能做到“治标治本”了,需要对“千万”库的模式进行调整和优化。下面从企业角度,我们分析一下“推陈出新”的必要性。
说到这里就必须要提一下:
企业内部网站访问真有那么多么?
每个企业的规模,在相对时间内是固定的,人员数量也一样。每个员工的上网行为习惯是可以搜集统计的。例如:一个员工每天上的网站无非是新闻、娱乐、视频、购物、下载、游戏、微博、招聘等等,加起来100个都绰绰有余;而且基本上就是反复的访问这些网站,“千万”URL库对他来说根本用不上。以一个公司200人规模来说,100*200=20000,也就是说,平时企业内部常用的网站就2万条这么多,这其中还不包括重复(很多)的网址,那么答案就很清晰了。
不要盲目崇拜“千万”URL库------构建精炼有效的URL库和维护机制
针对企业内部的网站访问,不能盲目轻信URL库的庞大,再大也大不过日渐增多的海量网址,寻找到合适的立足点才重要。
周星驰的鹿鼎记相信大家看过无数次,里面的经典台词:
陈近南:……也要身受九九八十一刀而死。
韦小宝:不用那么费力,我一刀就死了。
同理,对于网址管理,不在乎用多么复杂庞大的URL库,一招致命,做到简单,就要建立一个足够精炼且有效的URL库,还需要有后期的一个良性的维护机制。
下面针对一款上网行为管理产品进行分析:
网帅NC-ASG互联网应用安全基础网络设备
1、 精细化分类,虽然这款产品也有上千万条的URL库,但是这里的分类不是单纯的划分URL库分类,而是基于适合企业内部筛选,自行定义的分类模式,构建URL库需要精炼和有效。IT管理人员能自由定制分类模式和精细化程度,有选择的控制比盲目“一锅端式”要有效率的多。
2、 URL维护机制-自行采集并分类,在已有的网址分类管理后,需要依靠产品自主的研发的动态收集功能,根据企业网络访问,自动收集内部网络访问的网站,并进行维护和管理。
在上网行为管理中,网站访问只是其中的一部分,选择适合企业应用的URL库管理,而不是一味的追求多而杂的“千万”URL库,利用好这“千万”库,才能发挥此类产品以“梳理带宽流量,约束员工上网行为”的优势。现在的市场消费形态已经从“盲目消费”转换成“理智消费”了,同样适用于企业对此类产品的选择。
标签: Google https 安全 二级域名 互联网 漏洞 搜索 网络 选择 一级域名 域名 域名备案
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点!
本站所提供的图片等素材,版权归原作者所有,如需使用,请与原作者联系。