自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(14)
  • 资源 (31)
  • 论坛 (2)
  • 收藏
  • 关注

原创 基于大数据平台的互联网数据采集平台架构介绍

互联网的飞速发展将社会带入数据高度发达且公开的信息时代,数据对于企业经营、政府决策及社会动态分析等具有极其重要的作用,而如何大规模、快速采集数据成为技术焦点。网络爬虫是按照一定规则自动游走爬取互联网文本网页的程序或者脚本。文本数据大多嵌套于网页程序代码中。数据采集的效率直接决定数据的有效及时性,数据的快速采集成为重中之重。基于大数据平台的的互联网数据采集,可以有效适用于海量数据采集场景,为...

2020-04-06 18:53:16 747 1

原创 一文带你了解Elasticsearch与Solr优缺点
原力计划

Elasticsearch简介Elasticsearch是一个建立在 Apache Lucene™ 基础上的实时的分布式搜索和分析引擎,是基于Lucene实现的、当今最先进,最高效的全功能开源搜索引擎框架。Elasticsearch使用Lucene作为内部索引引擎,而实际使用中,我们只需要使用统一开发好的API即可,而不需要理解其背后复杂的Lucene工作原理。Elasticsear...

2020-04-28 00:29:26 268 1

原创 一文带你了解solr部署全过程(word免费送)
原力计划

一、环境准备软件版本:Tomcat 版本:7.0.56JDK 版本:1.7.0_71SOLR 版本:4.8.1软件包:apache-tomcat-7.0.56.tar.gz,jdk1.7.0_71.tar.gzsolr-4.8.1.tgz机器资源:192.168.102.51(master)192.168.102.52(slave)192.168....

2020-04-26 11:52:38 93 1

原创 JavaFx系列之WebView插件中JavaScript和Java相互调用,并传递值

在编写JavaFx工作流的过程中,由于工作流用的是jquery实现,其中有一些数据,需要通过JavaScript传递到后台Java对象,并保存。 大概原则是:首先在Java中创建一个对象,把该对象设置到网页去。而对于另一个方向,JavaScript创建一个对象并从网页中提取出来。下面用代码演示。首先是Java的代码package sample;import javafx.applicat...

2020-04-22 18:14:56 923

原创 JavaFx中WebView插件加载的HTML中JavaScript和Java通信

在编写JavaFx工作流的过程中,由于工作流用的是jquery实现,其中有一些数据,需要通过JavaScript传递到后台Java对象,并保存。 大概原则是:首先在Java中创建一个对象,把该对象设置到网页去。而对于另一个方向,JavaScript创建一个对象并从网页中提取出来。下面用代码演示。首先是Java的代码package sample;import javafx.applicat...

2020-04-22 18:11:53 686

原创 一套价值十万的微信公众号采集解决方案
原力计划

​1 整体概述1.1 编写目的本文主要用于描述微信采集过程中,各流程节点的解决方案。详细介绍了采集架构、手机号购买注意事项、微信注册注意事项、微信号养号注意事项、公众号采集方式,以及采集过程中遇到的问题等。1.2 整体架构微信数据采集主要分为四个阶段:一、采集准备阶段:手机、手机号、XPosed插件、手机支架、HUB集线器、智能插座等;二、公众号处理阶段:公众号收集、公众号...

2020-04-22 17:54:27 508 1

原创 JavaFX中给对象添加ContextMenu菜单的通用方法

在进行JavaFX进行桌面程序开发时,难免会遇到添加右键菜单的情况,今天就介绍一种通用的添加右键菜单的方式。JavaFX中右键菜单均是通过ContextMenu来实现,首先定义GlobalMenu,继承ContextMenu,显示这些功能选项。代码日下所示:package org.crawler.ui.layout.left;import javafx.scene.control.C...

2020-04-18 22:25:52 438

原创 爬虫工程师,如何高效的支持数据分析人员的工作?

数据分析是以统计分析方法为基础,对采集来的大量数据进行分析,并将其加以汇总、理解和消化,以提取有用信息和形成结论,最大化地开发出数据的功能,发挥数据的作用。所以,数据采集,是科学地进行数据分析的基础。其采集数据的准确性,直接决定了数据分析输出内容的价值。那么,数据分析中的数据采集该如何做呢?它主要包括四部分:需求调研、明确采集范围确定、明确抽样方案、明确数据采集方法,数据清洗...

2020-04-17 12:22:56 101 1

原创 网站SEO优化系列之外链篇

外部链接概念比如,A网站给B网站做个链接,那么A网站就是B网站的外部链接,或者反向链接。外部链接越多越好,当然也得是优质的外部链接才好。否则网站也有可能会因而被降权,得不偿失。外部链接的作用外部链接质量高、数量多,就表示这个网站很受用户欢迎。那么,搜索引擎也就越喜欢这个网站,优先给予排名。比如,有十个人说你好,可能你真的好,那么如果有一万个人推荐你,说你好,...

2020-04-17 12:20:58 124 1

原创 网站SEO优化系列之基础篇
原力计划

​ 去年基于MBlog进行二次开发,整了个自己的博客(二猫的博客)。虽然写了几十篇文章,可是百度搜索收录始终都是二十几篇。最近花了点时间,找了几个视频学习了一下。根据网站SEO的核心要素,对博客后台、前端显示等均进行了优化,收录的效果确实好了很多,现在收录量已经到。百度站在后台统计的每日索引量如下所示:在百度搜索中,通过site搜索可以看到有184条信息,但是百度站长后台统计是16...

2020-04-14 14:06:54 94 1

原创 一文带你了解,数据采集中各部分要点及注意事项

​先前简单的介绍了一下《基于大数据平台的互联网数据采集平台基本架构》,今天主要介绍一下采集的各个环节中,应该如何处理,应该注意哪些方面。废话不多说了,正文开始.......第一:信源系统其实就是采集任务管理系统,我们叫信源管理系统。主要包括:1.任务模块:网站、栏目、搜索引擎、关键词、模板、公众号、微博博主等。2.资源管理模块:服务器、项目、索引等;3.监控...

2020-04-11 10:50:25 1169 1

转载 基于java的鼠标键盘模拟操作常用方法汇总

最近在研究基于模拟器的,根据手机号微信自动添加好友的工具,其中涉及到了鼠标模拟点击、字符串输入等方法。同时,针对采集中可能需要截取验证码图片,整理了截图的功能。具体代码如下所示:package org.crawler;import java.awt.Toolkit;import java.awt.datatransfer.Clipboard;import java.awt.da...

2020-04-09 02:07:05 358 2

转载 Python,开发爬虫的不二选择

互联网是由一个个站点和网络设备组成的大网,我们通过浏览器访问站点,站点把HTML、JS、CSS代码返回给浏览器,这些代码经过浏览器解析、渲染,将丰富多彩的网页呈现我们眼前。如果我们把互联网比作一张大的蜘蛛网,数据便是存放于蜘蛛网的各个节点,而爬虫就是一只小蜘蛛,沿着网络抓取自己的猎物(数据)。爬虫指的是:向网站发起请求,获取资源后分析并提取有用数据的程序。如今,人类社会已经进入了大数据时代...

2020-04-07 00:36:14 245

转载 教你一种1分钟,下载1万个网页的方法,你学吗?

一:模块介绍Pycurl是一个用C语言编写的libcurl Python实现,功能非常强大,支持操作协议有FTP,HTTP,HTTPS,TELNET等。与urllib相比,Pycurl的速度要快很多。二:安装大家可以去官网下载与本地Python一直的whl或exe包。也可以使用下面的命令行直接安装。pip install pycurl三:主要方法...

2020-04-03 01:36:02 74 1

微信自动添加好、修改备注等

通过Python的模拟点击,再结合模拟器操作,可以实现根据手机号自动搜索好友,自动添加好友,同时修改备注等

2020-04-05

地理信息系统目录

地理信息系统高级教程目录

2012-11-13

宁夏粮食局协同办公系统投标书

宁夏粮食局协同办公系统投标书

2012-11-13

myecli 开机键

myecli 快捷键可以节省开发者的时间,提高开发效率等;

2011-04-26

jBPM开发入门指南

jBPM开发入门指南

2012-11-13

MyEclipse 8.5注册码

MyEclipse 8.5注册码

2012-11-11

APO开发实践

APO开发实践

2012-11-13

editplus 3.4 注册码

editplus 3.4 注册码

2012-11-12

visio的注册码

visio的注册码.

2012-09-26

组件GIS_All

组件GIS_All

2012-11-13

lucene开发流程

搜索引擎 lucene开发流程介绍,开发全文检索系统,

2011-05-20

精准检索文档

精准检索

2012-10-17

Lucene初级教程

Lucene初级教程 全文检索Lucene初级教程 全文检索Lucene初级教程 全文检索Lucene初级教程 全文检索

2011-05-20

RSS 在线阅读器开发

RSS 在线阅读器开发 用于方便浏览网页上的内容。可以节省读者的时间

2011-04-26

lucene 搜索引擎 compass

做自己的搜索引擎-搜索引擎精解案例教程lucenen compass 搜索引擎框架

2011-05-20

面试题集ssh struts hibern spring

面试 ssh struts hibern spring等方面整理的面试题;

2011-04-27

rome.jar

rome.jar

2011-09-22

J2EE完全参考手册-J2EE部署

J2EE完全参考手册-J2EE部署

2012-11-13

struts动态树结构

struts——dojo来开发连接数据库的 动态树结构

2011-04-26

GIS高级教程格式

GIS高级教程格式

2012-11-13

构建J2EE应用程序

构建J2EE应用程序

2012-11-13

ibatis 开发指南

ibatis 开发指南

2012-11-13

ICO图片集 图片

各种ico图片的集合,可以减少你实际运用中的很多需求,提高你的工作效率啊!

2012-09-26

PHEI Broadview 2009-2010专业书目

PHEI Broadview 2009-2010专业书目.pdf

2012-11-01

RSS RSSFEED

RSS 或者RSS-FEED 教程全解,包括配置环境,开发流程,注意事项等有关的RSS开发技巧;

2011-04-22

rss,RSS开发过程

RSS开发过程,本章的实例就是实现简单的RSS在线网站阅读器。

2011-04-21

rss 时间图 统计报表等

rss 时间图 主状图统计报表,JFreeChart等内容 ;

2011-04-26

Hibernate事务

Hibernate事务.doc

2012-11-13

JFC/JFreechart

FreeChart折线图配置+乱码解决+图线XY轴的属性的详细设置等内容

2011-04-19

jsp mysql 开发的

用jsp自动从数据库中生成js的高级查询代码

2011-04-26

Java项目开发案例全程实录

Java项目开发案例全程实录

2012-11-01

mysql触发器

发表于 2011-06-14 最后回复 2011-06-14

oracle 查询

发表于 2011-03-09 最后回复 2011-03-09

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除