关于【url的含义是】,url的含义是什么,今天八宝盒小编给您分享一下,如果对您有所帮助别忘了关注本站哦。
内容导航:1、url的含义是什么2、如何快速判断某 URL 是否在 20 亿的网址 URL 集合中?1、url的含义是什么最佳答案url是统一资源定位符,对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL,它包含的信息指出文件的位置以及浏览器应该怎么处理它。url是统一资源定位符,对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL,它包含的信息指出文件的位置以及浏览器应该怎么处理它。
URL格式:在WWW上,每一信息资源都有统一的且在网上唯一的地址,该地址就叫URL(Uniform Resource Locator,统一资源定位符),它是WWW的统一资源定位标志,就是指网络地址。
语法URL由三部分组成:资源类型、存放资源的主机域名、资源文件名。
URL的一般语法格式为:protocol :// hostname[:port] / path / [;parameters][?query]#fragment。
2、如何快速判断某 URL 是否在 20 亿的网址 URL 集合中?何为布隆过滤器还是以上面的例子为例:判断逻辑:多次哈希:Guava的BloomFilter创建BloomFilter最终还是调用:使用:算法特点使用场景
假设遇到这样一个问题:一个网站有 20 亿 url 存在一个黑名单中,这个黑名单要怎么存?若此时随便输入一个 url,你如何快速判断该 url 是否在这个黑名单中?并且需在给定内存空间(比如:500M)内快速判断出。
可能很多人首先想到的会是使用 HashSet,因为 HashSet基于 HashMap,理论上时间复杂度为:O(1)。达到了快速的目的,但是空间复杂度呢?URL字符串通过Hash得到一个Integer的值,Integer占4个字节,那20亿个URL理论上需要:20亿*4/1024/1024/1024=7.45G的内存,不满足空间复杂度的要求。
这里就引出本文要介绍的“布隆过滤器”。
何为布隆过滤器百科上对布隆过滤器的介绍是这样的:
布隆过滤器(Bloom Filter)是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多,缺点是有一定的误识别率和删除困难。
是不是描述的比较抽象?那就直接了解其原理吧!
还是以上面的例子为例:
哈希算法得出的Integer的哈希值最大为:Integer.MAX_VALUE=2147483647,意思就是任何一个URL的哈希都会在0~2147483647之间。
那么可以定义一个2147483647长度的byte数组,用来存储集合所有可能的值。为了存储这个byte数组,系统只需要:2147483647/8/1024/1024=256M。
比如:某个URL(X)的哈希是2,那么落到这个byte数组在第二位上就是1,这个byte数组将是:000….00000010,重复的,将这20亿个数全部哈希并落到byte数组中。
判断逻辑:
如果byte数组上的第二位是1,那么这个URL(X)可能存在。为什么是可能?因为有可能其它URL因哈希碰撞哈希出来的也是2,这就是误判。
但是如果这个byte数组上的第二位是0,那么这个URL(X)就一定不存在集合中。
多次哈希:
为了减少因哈希碰撞导致的误判概率,可以对这个URL(X)用不同的哈希算法进行N次哈希,得出N个哈希值,落到这个byte数组上,如果这N个位置没有都为1,那么这个URL(X)就一定不存在集合中。
Guava的BloomFilterGuava框架提供了布隆过滤器的具体实现:BloomFilter,使得开发不用再自己写一套算法的实现。
创建BloomFilterBloomFilter提供了几个重载的静态 create方法来创建实例:
public static <T> BloomFilter<T> create(Funnel<? super T> funnel, int expectedInsertions, double fpp);public static <T> BloomFilter<T> create(Funnel<? super T> funnel, long expectedInsertions, double fpp);public static <T> BloomFilter<T> create(Funnel<? super T> funnel, int expectedInsertions);public static <T> BloomFilter<T> create(Funnel<? super T> funnel, long expectedInsertions);
最终还是调用:
static <T> BloomFilter<T> create(Funnel<? super T> funnel, long expectedInsertions, double fpp, Strategy strategy);// 参数含义:// funnel 指定布隆过滤器中存的是什么类型的数据,有:IntegerFunnel,LongFunnel,StringCharsetFunnel。// expectedInsertions 预期需要存储的数据量// fpp 误判率,默认是0.03。
BloomFilter里byte数组的空间大小由 expectedInsertions, fpp参数决定,见方法:
static long optimalNumOfBits(long n, double p) { if (p == 0) { p = Double.MIN_VALUE; } return (long) (-n * Math.log(p) / (Math.log(2) * Math.log(2)));}
真正的byte数组维护在类:BitArray中。
使用:
最后通过:put和 mightContain方法,添加元素和判断元素是否存在。
算法特点1、因使用哈希判断,时间效率很高。空间效率也是其一大优势。2、有误判的可能,需针对具体场景使用。3、因为无法分辨哈希碰撞,所以不是很好做删除操作。
使用场景1、黑名单 2、URL去重 3、单词拼写检查 4、Key-Value缓存系统的Key校验 5、ID校验,比如订单系统查询某个订单ID是否存在,如果不存在就直接返回。
本文关键词:url指的什么,url的含义是什么信息资源,url的含义是什么举例,url的含义是什么计算机题,url的含义是什么选择题。这就是关于《url的含义是,url的含义是什么(如何快速判断某)》的所有内容,希望对您能有所帮助!更多的知识请继续关注《八宝盒百科》百科知识网站:http://tj.jiuquan.cc!