自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(3)
  • 资源 (31)
  • 论坛 (2)
  • 收藏
  • 关注

原创 面试官:比如有10万个网站,有什么方法能够快速的采集到数据吗?

相关阅读:字节跳动面试锦集(一):Android Framework高频面试题总结字节跳动面试锦集(二):项目HR高频面试总结数据采集采集架构中各模块详细分析爬虫工程师,如何高效的支持数据分析人员的工作?基于大数据平台的互联网数据采集平台基本架构数据采集中,如何建立一套行之有效的监控体系?面试准备、HR、Android技术等面试问题汇总昨天有一个网友说,他最近面试了几家公司,有一个问题被问到了好几次,每次都回答的不是太好。面试官:比如有10万个网站需要采集,你有什么方法.

2020-07-16 17:04:40 455 3

原创 爬虫系列之自动化运维(一):服务器管理(年中红包派送中...)

年 中 福 利 大 派 送派送规则:1:即日起三天内,关注本号的第25,50,75,100位网友; 2:已关注公众号,历史分享前三名; 3:已关注公众号,...

2020-07-14 07:40:00 137 3

原创 爬虫系列之数据质量监控实践篇:规则库梳理与设计
原力计划

先前在《爬虫系列之数据质量监控(二):监控系统设计 》一文中,对采集中数据解析部分可能出现的各种异常,进行了大概的总结。比如:标题或内容中包含乱码、css样式、JavaScript代码等。由于出现的异常可能千奇百怪,我们不可能提前想到所有现象。此时,就需要根据目前已经发现的问题,总结出一套能够灵活应对不同情况的规则库。其目的就是在数据持久化接口处,对接收的所有数据,依据信源系统中配置的规则进行校验,以判断采集到的数据的准确性,便与改进采集器或脚本,优化数据质量,提高产品的用户体验。一. 规则库必

2020-07-01 00:08:28 262 1

微信自动添加好、修改备注等

通过Python的模拟点击,再结合模拟器操作,可以实现根据手机号自动搜索好友,自动添加好友,同时修改备注等

2020-04-05

地理信息系统目录

地理信息系统高级教程目录

2012-11-13

宁夏粮食局协同办公系统投标书

宁夏粮食局协同办公系统投标书

2012-11-13

myecli 开机键

myecli 快捷键可以节省开发者的时间,提高开发效率等;

2011-04-26

jBPM开发入门指南

jBPM开发入门指南

2012-11-13

MyEclipse 8.5注册码

MyEclipse 8.5注册码

2012-11-11

APO开发实践

APO开发实践

2012-11-13

editplus 3.4 注册码

editplus 3.4 注册码

2012-11-12

visio的注册码

visio的注册码.

2012-09-26

组件GIS_All

组件GIS_All

2012-11-13

lucene开发流程

搜索引擎 lucene开发流程介绍,开发全文检索系统,

2011-05-20

精准检索文档

精准检索

2012-10-17

Lucene初级教程

Lucene初级教程 全文检索Lucene初级教程 全文检索Lucene初级教程 全文检索Lucene初级教程 全文检索

2011-05-20

RSS 在线阅读器开发

RSS 在线阅读器开发 用于方便浏览网页上的内容。可以节省读者的时间

2011-04-26

lucene 搜索引擎 compass

做自己的搜索引擎-搜索引擎精解案例教程lucenen compass 搜索引擎框架

2011-05-20

面试题集ssh struts hibern spring

面试 ssh struts hibern spring等方面整理的面试题;

2011-04-27

rome.jar

rome.jar

2011-09-22

J2EE完全参考手册-J2EE部署

J2EE完全参考手册-J2EE部署

2012-11-13

struts动态树结构

struts——dojo来开发连接数据库的 动态树结构

2011-04-26

GIS高级教程格式

GIS高级教程格式

2012-11-13

构建J2EE应用程序

构建J2EE应用程序

2012-11-13

ibatis 开发指南

ibatis 开发指南

2012-11-13

ICO图片集 图片

各种ico图片的集合,可以减少你实际运用中的很多需求,提高你的工作效率啊!

2012-09-26

PHEI Broadview 2009-2010专业书目

PHEI Broadview 2009-2010专业书目.pdf

2012-11-01

RSS RSSFEED

RSS 或者RSS-FEED 教程全解,包括配置环境,开发流程,注意事项等有关的RSS开发技巧;

2011-04-22

rss,RSS开发过程

RSS开发过程,本章的实例就是实现简单的RSS在线网站阅读器。

2011-04-21

rss 时间图 统计报表等

rss 时间图 主状图统计报表,JFreeChart等内容 ;

2011-04-26

Hibernate事务

Hibernate事务.doc

2012-11-13

JFC/JFreechart

FreeChart折线图配置+乱码解决+图线XY轴的属性的详细设置等内容

2011-04-19

jsp mysql 开发的

用jsp自动从数据库中生成js的高级查询代码

2011-04-26

Java项目开发案例全程实录

Java项目开发案例全程实录

2012-11-01

mysql触发器

发表于 2011-06-14 最后回复 2011-06-14

oracle 查询

发表于 2011-03-09 最后回复 2011-03-09

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除