健康资讯 excel批量抓取网页数据
Excel从零到一优质教育领域创作者使用excel批量抓取100页网页数据，再也不用一页一页的复制粘贴了
06:19抓取100页网站数据，你需要多久？用Excel三分钟就够了
#Excel从零到一#
之前跟大家分享过如何将网页中的数据放进Excel中，有粉丝就问到如何批量地抓取网页数据呢？今天方法来了，在这里我们需要用到power query这个功能，操作也非常的简单，更改两处地方，直接套用即可
最上方添加：(x as number) as table=>
页码更改为：(Number.ToText(x))
用Excel三分钟就能抓取100页网站数据，并且还能跟随网站自动更新
Excel从零到一今天，是JavaScript回炉的第十九天
表单在网页中主要负责数据采集功能。
一个表单有三个基本组成部分：
表单标签：这里面包含了处理表单数据所用CGI程序的URL以及数据提交到服务器的方法。
<form id="frm" action=”www.baidu.com” method="post">
表单域：包含了文本框、密码框、隐藏域、多行文本框、复选框、单选框、下拉选择框和文件上传框等。
用户名:<input type="text" id="input01">
表单按钮：包括提交按钮、复位按钮和一般按钮；用于将数据传送到服务器上的CGI脚本或者取消输入，还可以用表单按钮来控制其他定义了处理脚本的处理工作。
<button id="button01">提交表单</button>
onblur：当表单元素失去焦点时调用事件处理函数；
onfocus：当表单元素获得焦点时调用事件处理函数。
<!DOCTYPE html>
<br lang="en">
<head>
<meta charset="UTF-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<title>表单</title>
</head>
<body>
<style>
#div01{
width: 400px;
height: 400px;
background-color: cornflowerblue;
margin: auto;
padding: auto;
}
</style>
<div id="div01">
<h2>表单</h2>
//表单就是传说中的get、post的方式传值，表单不是不是表格
<form id="frm" method="get">
用户名:<input type="text" id="input01">
<hr>
密 码:<input type="text" id="input02">
<hr>
<button id="button01">提交表单</button>
</form>
</div>
<script>
//当有焦点的时候背景是红色
input01.onfocus=function(){
this.style.background = "red"
}
//失去焦点的时候背景是白色input01.onblur=function(){
this.style.background = "aliceblue"
}
input02.onfocus=function(){
this.style.background = "red"
}
input02.onblur=function(){
this.style.background = "aliceblue"
}
//只是判断是否有值
button01.onclick=function(){
var input01 = document.getElementById("input01")
var input02 = document.getElementById("input02")
if(input01.value =https://czxt.haoyundao.net/= '){
alert("无值")
return
}else{
alert("button01有值"
if(input02.value =https://czxt.haoyundao.net/= '){
alert("无值")
return
}else{
alert("button02有值")
var form = document.getElementById("frm");
form.action="www.baidu.com"
}
}
}
</script>
</body>
</html>
分享一些特别实用的方法，海关数据，免费的
美国的海关数据是最全最透明的，很多人还不知道哪里找，老手也不轻易透露，
我来剧透
第一个 网页链接 这是论坛推荐的，完全免费，就是时效性不好，
但基本够用，美国的大客户差不多都能挖出来
第二个 网页链接 实时更新的，免费的有限制，如果会用，基本也
够用。当你通过第一个网站拿到 你的竞争对手的名字的时候 就用他去查对手最新的客户情况
也可以根据货描去搜索客户 再一个要点就是每隔一段时间就去查一下你对手的情况
他新客户也会被你查出来
第三个 网页链接 也是免费的
这样通过这3个网站交叉利用 我想大部分客户你都能搜出来 而且能掌握对手的客户
加拿大海关数据
网页链接 ... .html?hsCode=950691
可按照海关编码和产品名称查询，注意不是全部的进口商可以被查到，只查占比前80%的
进口商，还有进口金额。
英国海关数据
网页链接
西班牙海关数据
网页链接
印尼海关数据
网页链接
韩国海关数据
网页链接
墨西哥海关数据
网页链接
好多人不会用海关数据，是因为懒，不肯动脑筋，上面三个网站完全可以替代付费的，
好用简单。
#外贸出口# #外贸学院# #外贸#
[玫瑰]分享20个免费商业数据网站[玫瑰]
有需要查找数据，做数据分析和报告材料的可以在线免费查询了，图上附带网址[灵光一闪]
#今日头条#
论文数据查询网站
18个免费数据网站，再也不愁找不到数据练手了！
1、国家社会类
中国统计局、香港政府数据中心
2、企业信息类
EDGAR、巨潮资讯
3、经济类
中财网、世界银行、FactSet
4、互联网类
CNNIC、SimilarWeb、镝数聚
5、电商类
阿里研究院
6、传媒类
CBO中国票房、收视率排行
7、移动应用类
艾瑞数据、新榜、Tasking Data
8、交通出行类
高德地图中国路况、北京交通发展研究所
#2022高考季#
填报志愿记得核对数据
官方渠道获得录取数据
在官方网站或者渠道获取专业分数和排名。切记切记切记！！！使用志愿填报辅助软件的朋友一定要看完[祈祷]
给正在填报志愿的家长和考生们提个醒，一定要在学校官网或者其他官方渠道获得专业录取分数和排名！！！
昨晚帮邻居家孩子看高考志愿填报，她购买了一个辅助填报志愿的APP。软件可以根据孩子的高考分推荐适合的报考院校，提示能够录取的百分率。
因为邻居很是纠结两个专业的前后顺序，所以我们对这两个专业的分数和排名认真地研究了一下。竟然发现辅助软件提供的数据大有问题。软件手机页面显示的分数和排名，与从该软件导出的数据正好相反[恐惧]而这之间差着40分，排名相差6/700名[震惊]
幸好及时发现了这个问题，今天她会去官网确认数据，再对志愿填报进行调整。
最后附上人民日报给出的这份填报指南，㊗️孩子们都能考得好，志愿报得更好[比心]得偿所愿，美梦成真[玫瑰]
之前在小组发了，完全不给展现量，为了孩子们少踩坑，再发一遍，看完的朋友多谢了，能转发就转发分享一下，提醒更多的家庭注意这个细节[祈祷]
#人人能科普，处处有新知# #我在头条搞创作#
来自微软的良心，他们团队在 GitHub 出了一个免费的数据分析课程：
[链接]网页链接
免费的数据可视化网站工具~让导师对你的图赞不绝口~
#投必得科研工具推荐#
群里小伙伴讨论一款网络监控软件，都觉得这系统也太强悍了。现在很多网站通讯都是https加密的，也不知道监控软件到底用哪些手段，可以获取这么多底层的浏览数据。
但企业内网络情况要简单的点，有些可能是域控能配置出来的，只需要知道网络数据去向就可以了。[呲牙]
中国有权重网站数据现状，全网备案网站280万个，分别列举了移动站、PC站有权重的网站数量，不含未备案网站。
如何快速获取行业报告
今天带大家了解关于行业报告的十二个网站！
1⃣️全类型报告（企业年报，财务，行业报告）：sougood
2⃣️关于综合报告：
中国报告大厅：从农林牧渔业到高科技电子应有尽有；
中研网数据：包括了医疗，制造业，服务业以及零售消费等全行业数据；
3⃣️互联网报告：
Quest Mobile：APP研究报告
腾讯大数据：调查研究，移动互联网以及特色数据报告；
中国互联网信息研究中心：互联网信息报告；
中国信通院：互联网多行业白皮书，角度宏观；
中国互联网数据平台：全国各地互联网发展报告，更学术化；
4⃣️金融商业报告：
CBNdata：以阿里巴巴的商业数据库为基础的产业经济分析报告；
东方财富网：是非常全面的一个金融资讯网站，含不同种研究报告；
国家数据报告：中国国家统计局权威统计数据；
中国统计信息网：全国及各级政府各年度统计公报年鉴等（这个是要收费的噢）
#行业报告# #工作# #就聘乐# 大学生职场第一站
互联网时代是以流量为“核心”。
那么企业如何获取精准的流量客户呢？主要有两个秘籍：
一、专心搭建一个企业网站
也许很多人都以为时代进步了企业官网没什么人浏览，不！这样认为就大错了，根据2022年百度消费搜索大数据显示，消费品搜索比上一年增涨27%。由此可见很多的消费者都是通过企业的网站信息去了解企业的产品和服务的，一个好的专业的企业官网就是一家企业无形的宣传门面，特别是一些需要招投标的企业，企业官网更是尤其重要。一家能搜索出来的企业和一家搜索不到的企业所以提供的产品和服务，对消费者来说是有很大的区别的。而搜索找到你企业的流量绝对是精准的流量客户。
二、坚持做好网站推广工作
在互联网信息时代竞争更为激烈，每个企业甚至个人都在挣夺流量，所以打造一个好的企业官网更为重要，简洁大气美观的企业网站彰显企业形象；企业的简介和规模历程彰显了企业的底蕴实力；企业的资讯和产品服务一年365天永不停止地在传播和展示企业的产品和服务。可以说是企业无形的形象资产。
大厂数据分析压箱底私货！！
大数据分析师工作中常逛的一些网站！！
#高薪# #大数据# #数据分析# #大数据分析#
重要通知：不管哪个网站，还能查到的，抓紧下载打印数据吧 !
河北2022高考生注意了：高考志愿填报本科批将于今天9点开启，还在为高考志愿填报发愁的考生和家长，可以登录我的网站进行志愿模拟填报，网站采用大数据技术分析模型，预测今年录取成绩，跟你的分数和所选专业，给出合理推荐志愿数据，提高录取概率。附图为近期已经获取志愿参考数据的截图。
“大数据扫黄”来了！半夜浏览黄色网站也会被查？来确认详细范围
都说大数据时代下的生活没有隐私，各大应用平台捕捉着用户们的行动轨迹，计算着用户的喜好。我们打开手机接收到的所有信息，都是大数据分析后的精准推送。人们不用搜索就能看到自己多想，买到自己所要。
大数据能为我们带来生活上的便利，也能帮助执法机关打击违法犯罪。自网络发展以来，黄色网站屡禁不止，半夜浏览黄色网站的网民，小心网警来“敲门”！公安机关是如何利用大数据扫黄的？半夜偷偷浏览黄色网站真的会引来网警吗？
一、网络扫黄势在必行
由于我国线下扫黄力度不断加大，很多不法分子将黄色产业链逐渐转移到网络上。因网络具有传播速度快、传播面积广的特点，所以增加了扫黄工作的难度。黄色产业链不只是涉及制造、买卖黄色物品，甚至还与诈骗挂钩。
许多赌博网站利用黄色信息引诱用户点击链接，打着一些不良旗号诱导用户进行网络赌博。还有许多不法分子用各类软件私聊他人，用轻佻言语图像向用户索要金钱；为了达到敲诈目的，先将网友约到私密场所再玩“仙人跳”。由此可见，网络扫黄势在必行！
二、精准扫黄
1.大数据扫黄
线上扫黄是利用大数据获取用户在网络上的各种痕迹来分析判断是否涉黄。如果用户存在这些行为，就可能被列入涉黄名单。
在深夜或凌晨进行频繁交易。某账户在晚上11点到凌晨3、4点内有多笔金额入账，这个时间大家都在睡觉，而他却在频繁交易，属实不太正常。
根据以往大数据收集到的信息可知，涉黄交易的金额大多为“398”、“498”等具有特殊含义的数字。这些金额通常为特殊服务的固定套餐价格。
对主体的性别、职业及行为等多个维度进行判断。例如，一名没有固定收入的的女性，经常在深夜收到上述特定金额的转账或红包；或是一名男性深夜经常出入非正规经营场所并在此消费。这些行为都会触发大数据扫黄。
在深夜或凌晨的盈利远超白天盈利的用户将被重点关注。夜间有多笔金额入账本身就容易引起关注，如果有七成以上的交易都符合前几条内容，那么相关部门可能会对其进行监测和调查。洗浴、足疗、按摩等行业都是重点检查对象。
2.浏览黄色网站会被抓？
自己在家里偷偷浏览色情网站也会被抓吗？如果只是自己“欣赏”，网警是不会找你聊天的。若是抱着“有福同享”的心态分享给他人，这种做法有点“刑”。
根据我国相关法律，传播淫秽视频、物品情节严重者，将被处以2年以下的有期徒刑、拘役或管制。制作、复制、组织播放淫秽影像，轻者处以3年以下有期徒刑、拘役或管制，并处罚金；情节严重者，将处以3年以上10年以下有期徒刑，并处罚金。向未满18岁的未成年人传播淫秽物品的，一律从重处罚。
三、大数据在案件侦破中的作用
大数据不仅在打击黄色产业中有着重要的作用，在其他办案领域同样不可或缺。犯罪分子利用当前发达的科技将不法行为智能化、隐蔽化，针对涉毒、赌博、盗窃及诈骗类案件，应用大数据技术可以更快侦破。
通过大数据实现智能管控及智能关联。在使用传统破案手段都没有头绪的时候，可以利用大数据技术建立分析模型，以有前科的人作为重点分析对象，完成可视化只能管控。综合分析作案特征、手法等关键信息，从时间、空间多重维度将案件分裂、关联，精准打击犯罪分子。
通过大数据技术实现全方位信息共享。将诸多案件基础信息虚拟化，利用云计算技术、依托大数据强大的计算及储存功能，通过融合共享达到联合办案。大数据的应用实现了跨警种、跨网络、跨地域的全网一体化的侦查方式。
总结
虽然独自浏览黄色网站不会被大数据扫黄，但是这种行为会为不法分子带来流量，从而推动色情产业链的发展。如果未成年人接触黄色网站，将对其身心带来伤害。
网络并非法外之地，大数据会让违法犯罪行为一览无余。健康的网络环境需要大家一起建设和维持。你认为大数据会过多获取个人信息吗？大数据扫黄与大众隐私又该如何平衡呢？在评论区说出你的看法。
继续学习scrapy
从学习scrapy的第一天开始，就每天被劝退。
时刻提醒自己红线。
当作兴趣，学习吧。不要关心获取数据多少，只关心会用这个东西。
只爬各类乱七八糟的破网站站，少碰各种敏感信息站
[可爱][可爱][可爱][可爱][可爱]
今天学习总结
当我试着写了几个xpath/css/re的selector，我以为自己已经会用selector了。甚至有一些小得意的时候。
今天重新读了一遍文档发现，啥也不是。
我以前自己为骄傲的正则表达式和熟练的xpath、css运用。都是孰能生巧的技能。而官方为了更简单的理念，提供了更多的简便操作。
简单总结一下
1、get可以提供默认值
response.xpath('//div[@id="not-exists"]/text()').get(default='not-found')
2、xpath有@attr属性，而css也提供了::attr(attrname)和.attrib属性。
3、嵌套的select的使用，可以更方便的处理数据
4、css的扩展属性*::text 更是简单方便。获取文章内容更简单，比re省事多了
5、XPath的contains也是一个不错的抽取方式
response.xpath("//a[contains(@href,'indexL')]/@href").getall()
6、XPath还支持变量
7、xml的removenamespace
学无止境，当想炫耀什么的时候，一定要去翻一翻官方的文档，确认一下是否真的学会了。
加油
[加油][加油][加油][加油]
随着各大社交平台相继推出IP地区显示功能，灰黑产趁机对IP修改/梯子和伪造定位等收费功能涨了一次价。素有万能的#淘宝：6月3日起禁止销售IP代理服务# ，闲鱼会不会实施同规呢？IP地址池是网络爬虫获取数据时，绕过数据源网站IP封禁的最有效方式，不过网络爬虫也是高危行业，同样是搜寻引擎的底层基础技术。这该如何是好呢？
