我们如何完成学术成果数据的共享和可视化。
明代的灾荒是一个基于方志文献的灾荒等级数据库。作者是西北大学科学史高等研究院的胡鹏老师。项目基于《中国地方志集成》、《中国方志丛书》、《著名图书馆藏稀见方志丛刊》等方志丛书,国家图书馆“中华古籍资源库”、爱如生“中国方志库”、“哈佛燕京图书馆藏缮本方志书志”等网络文献资源,以及《中国三千年气象记录总集(增订本)》等资料汇编,通过对2万余条相关记录的整理分析,按照自然灾害对社会经济发展影响程度为标准,重建了全国(两京十三布政使司、内地十八省)251个观测站的年度灾荒等级序列。 根据文献资料的记录特点和方式,这套数据遵循“人优先于物”和“群体优先于个体”的基本原则,按照“财物→个别民众→社会群体”的层次,将自然灾害的社会损害按照影响程度分为农业减产、财产损失、民生窘迫、人员伤亡、社会凋敝,以及农业丰收等五个类别。研究者通过一定标准,给每个指标以不同的赋值,进行灾荒等级分级。
我们组织了发现中国的志愿者参与到了这个项目。一位程序员首先研究了整套数据,然后将两个Excel文件结构化为三个数据表,并使用脚本程序转换数据。由于这套数据中涉及到的现代城市只有名称,没有地理坐标,所以还需要利用高德地图API进行地理编码转换。导入成功后,再利用地图书上一个实验性的数据分析工具,自定义数据库查询语句,以及HTML、CSS、JS代码,利用ECharts实现了一个简单的可视化效果。拿出第一版设计后,我们立即反馈给了胡鹏老师,并根据他的意见继续改进,最终形成了大家现在看到的效果。
地图书的视频
#明朝# #明朝历史# #中国历史# #历史地图# #历史dil#
美团其实已经尽力做了一些开源工作,最大的一项是小程序的前端开发框架mpvue,其次是一个分析SQL给出索引优化建议的工具SQLAdvisor,再其次分布式ID生成服务Leaf,其他的贡献考虑到“引用次数”相对来说就不值一提了。
但与阿里巴巴和百度等相比,那真是青铜遇到了王者。
那么业界王者什么样?
阿里巴巴贡献的Apache软件基金会顶级项目:
-Flink早期起源于德国柏林工业大学的一个研究项目,2014年12月成为顶级项目,2015年1月阿里巴巴收购Flink母公司并推动Flink蓬勃发展;
-RocketMQ,2017年9月25日成为;
-Griffin(数据质量监控工具),2018年12月12日成为;
-Dubbo,2019年5月20日成为;
-Weex(跨平台移动开发框架),孵化中;
//Fastjson这些都不算
//其他值得一提的是阿里巴巴达摩院开源的深度学习推理框架MNN
百度贡献的Apache软件基金会顶级项目:
-ECharts,2021年1月26日;
-Doris(分布式 SQL 数据仓库),孵化中;
//其他值得一提的是Apollo(自动驾驶开放平台)
华为贡献的Apache软件基金会顶级项目:
-CarbonData(大数据高效存储格式解决方案),2017年4月19日;
-ServiceComb(微服务软件框架),2018年10月17日;
其他国人贡献的Apache顶级项目:
-ebay中国团队贡献的,Kylin(分布式分析引擎),2015年12月8日;
-偶数科技,HAWQ(Hadoop原生大规模并行SQL分析引擎),2018年8月22日;
-亚信科技(吴晟),Skywalking(应用性能监控系统,APM),2019年4月18日;
-当当团队贡献的,ShardingSphere(分布式数据库中间件),2020年4月15日;
-深圳支流科技贡献的,APISIX(云原生网关),2020年7月15日;
-易观贡献的,DolphinScheduler(大数据工作流调度),2021年3月18日;
……(待续)