ITeye博客

akululu

akululu · 共 28 篇文章

网络爬虫

public class Spider implements Runnable { private ArrayList urls; //URL列表 private HashMap indexedURLs; //已经 检索 过的URL列表 private int threads ; //初始化线程数 public static void main(String argv[]) throws Exception { if(argv[0] == null){ System.out.println("Missing required argument: [Sit URL]"; return ; } …

2009-01-13 15:46 · Spider · 评论(1)

URL消重-信息指纹

数学之美 系列十三 信息指纹及其应用 2006年8月3日 上午 11:17:00 <noscript></noscript> 发表者:吴军,Google 研究员 任何一段信息文字,都可以对应一个不太长的随机数,作为区别它和其它信息的指纹(Fingerprint)。只要算法设计的好,任何两段信息的指纹都很难重复,就如同人类的指纹一样。信息指纹在加密、信息压缩和处理中有着广泛的应用。 我们在 图论和网络爬虫 一文中提到,为了防止重复下载同一个网页,我们需要在哈希表中纪录已经访问过的网址(URL)。但是在哈希表中以字符串的形式直接存储网址,既费内存空间,又浪费查找时间。现在的网址一般都较长,比如,…

2009-01-13 14:40 · Spider · 评论(0)

设计模式

package lq.test; import java.io.*; import java.util.*; //*********创建型模式*************** //factory method 1 //1具体的构造算法,和2构造出的具体产品由子类实现 interface Product { } //或者我也提供一个工厂的接口,由这个抽象类来继承它 abstract class Factory { abstract public Product fmd();; //我认为这个方方法的存在是,是对FactoryMethod方法的补充 //例如可以为生成的对象赋值,计算为生成对象应付…

2009-01-12 22:45 · Java · 评论(0)

J2SE 5.0新特性 之 线程

1.1. 进程、线程与线程池 所谓进程是一种在自身定址空间中执行的相对独立的程序,是现代 操作系统 的基石。现在的多任务操作系统,会周期性地将 CPU 的时间划分给每一个进程,使操作系统得以同时执行一个以上的程序。 线程则是进程中的一个“单一连续控制的流程”,一个进程中可以拥有多个并行的线程。但线程不能单独存在,它依附于进程,只能从进程中派生而来。如果一个进程派生出了两个线程,那这两个线程共享此进程的全局变量和代码段,但每个线程各拥有各自的堆栈,因此它们拥有各自的局部变量。 在了解了线程的概念后,下面我们就可以进入正题,现在先来看一下线程池究竟是怎么一回事?其实线程池的原理很简单,类似于操作…

2009-01-10 13:20 · Java · 评论(1)

爬虫/蜘蛛程序的制作

问题是对某一网站或所有网站进行抓取,即下载所有网页。怎么实现呢? 先将问题最小化(转化的思想,转化为小规模,可以解决的问题):如果只有一个网页,怎么下载?问题变地很简单,只要用WebClient/WebRequest(甚至OpenFileDialog都可以)打开Url地址,将数据流存入本地存储器的文件(以相应的扩展名作为扩展名)即可。示例代码如下: string BoardStream;//下载内容存入此变量 Uri url = new Uri( “ http://www.163.com ” );//将下载地址转换为Uri类型 HttpWebRequest requestPage = ( H…

2009-01-10 11:40 · Spider · 评论(0)

lucene多索引文件并行查询

Lucene并行索引多目录 Lucene并行索引多目录 1、多字段搜索就是同时要一个以上的字段中的内容进行比较搜索,类似概念在SQL中就是select * from Table where a like '%query%' or b like '%query%'。 Lucene.net中的单个字段查询大家都比较熟悉,这里对字段content进行搜索 Query query = QueryParser.Parse(querystr,"content",new ChineseAnalyzer()); Hits hits = searcher.Search(query); 对多个字段查询用到一个M…

2009-01-10 11:35 · Lucene · 评论(0)

java.util.concurrent系列文章--(5)网络服务的简单实践

2006 年 1 月 18 日 Java5增加了新的类库并发集java.util.concurrent,该类库为并发程序提供了丰富的API多线程编程在Java 5中更加容易,灵活。本文通过一个网络服务器模型,来实践Java5的多线程编程,该模型中使用了Java5中的线程池,阻塞队列,可重入锁等,还实践了Callable, Future等接口,并使用了Java 5的另外一个新特性泛型。 简介 本文将实现一个网络服务器模型,一旦有客户端连接到该服务器,则启动一个新线程为该连接服务,服务内容为往客户端输送一些字符信息。一个典型的网络服务器模型如下: 1. 建立监听端口。 2. 发现有新连接,接受连…

2009-01-06 21:36 · concurrent · 评论(0)

java.util.concurrent系列文章--(4)非阻塞算法简介

Java™ 5.0 第一次让使用 Java 语言开发非阻塞算法成为可能, java.util.concurrent 包充分地利用了这个功能。非阻塞算法属于并发算法,它们可以安全地派生它们的线程,不通过锁定派生,而是通过低级的原子性的硬件原生形式 —— 例如 比较和交换 。非阻塞算法的设计与实现极为困难,但是它们能够提供更好的吞吐率,对生存问题(例如死锁和优先级反转)也能提供更好的防御。在这期的 Java 理论与实践 中,并发性大师 Brian Goetz 演示了几种比较简单的非阻塞算法的工作方式。 在不只一个线程访问一个互斥的变量时,所有线程都必须使用同步,否则就可能会发生一些非常糟糕的事情…

2009-01-06 21:34 · concurrent · 评论(0)

java.util.concurrent系列文章--(3)基于硬件同步原语的原子类型

在 JDK 5.0 之前,如果不使用本机代码,就不能用 Java 语言编写无等待、无锁定的算法。在 java.util.concurrent 中添加原子变量类之后,这种情况发生了变化。请跟随并行专家 Brian Goetz 一起,了解这些新类如何使用 Java 语言开发高度可伸缩的无阻塞算法。您可以在本文的 论坛 中与作者或其他读者共享您对本文的看法。(也可以通过单击文章顶部或者底部的 讨论 链接来访问讨论。) 十五年前,多处理器系统是高度专用系统,要花费数十万美元(大多数具有两个到四个处理器)。现在,多处理器系统很便宜,而且数量很多,几乎每个主要微处理器都内置了多处理支持,其中许多系统支持…

2009-01-06 21:34 · concurrent · 评论(0)

java.util.concurrent系列文章--(1)JDK1.5 并发集合

Doug Lea 最初编写的 util.concurrent 包变成了 JSR-166 ,然后又变成了 J2SE 平台的 Tiger 版本。这个新库提供的是并发程序中通常需要的一组实用程序。如果对于优化对集合的多线程访问有兴趣,那么您就找对地方了。请在本文对应的讨论论坛上与作者 John Zukowski 及其他读者分享您对本文的想法。(您也可以单击文章顶部或底部的 讨论 来访问论坛)。 在 Java 编程的早期阶段,位于 Oswego 市的纽约州立大学(SUNY) 的一位教授决定创建一个简单的库,以帮助开发人员构建可以更好地处理多线程情况的应用程序。这并不是说用现有的库就不能实现,但是就像…

2009-01-06 21:28 · concurrent · 评论(0)

Webservice 的设计和模式

Webservice 作为一项新的技术出现在我们面前,它的出世是用于解决在不同的平台下的应用的协同的。目前几乎每家厂商都要去开发Webservice 应用,然而如果缺乏对Webservice更深的了解,不能很好的在设计阶段处理好一些重要的问题,那么最终完成的系统必然是效率低下,没有可靠性的产品。 在设计Webservice 应用时,以下几点务必要考虑到: l 管理好与外系统的协同关系 l 掌握底层的传输模型 l 提供与应用相适应的安全策略 l 计划好部署的相关事项 以下,将就这几条相关的设计需求和一些常用模式是如何应用于Webservice模型展开详细讨论。在讨论中,你会发现Webservi…

2008-12-04 14:05 · 散 · 评论(0)

Java远程通讯可选技术及原理

Java远程通讯可选技术及原理 在分布式服务框架中,一个最基础的问题就是远程服务是怎么通讯的,在Java领域中有很多可实现远程通讯的技术,例如:RMI、MINA、ESB、 Burlap、Hessian、SOAP、EJB和JMS等,这些名词之间到底是些什么关系呢,它们背后到底是基于什么原理实现的呢,了解这些是实现分布式服务框架的基础知识,而如果在性能上有高的要求的话,那深入了解这些技术背后的机制就是必须的了,在这篇blog中我们将来一探究竟,抛砖引玉,欢迎大家提供更多的实现远程通讯的技术和原理的介绍。 基本原理 要实现网络机器间的通讯,首先得来看看计算机系统网络通信的基本原理,在底层层面去看,…

2008-12-04 11:35 · 散 · 评论(0)

Hibernate+Spring+Struts2整合开发中的一个分页显示方案

Hibernate+Spring+Struts2整合开发中的一个分页显示方案 分页显示一直是web开发中一大烦琐的难题,传统的网页设计只在一个JSP或者ASP页面中书写所有关于数据库操作的代码,那样做分页可能简单一点,但当把网站分层开发后,分页就比较困难了,下面是我做Spring+Hibernate+Struts2项目时设计的分页代码,与大家分享交流。 1、DAO层接口的设计,在MemberDao接口中定义了如下两个方法: public interface MemberDao{ //省略了其他的代码 /** *//** * 分页查询 * @param hql 查询的条件 * @param o…

2008-12-01 09:07 · Hibernate · 评论(0)

使用ftp4j类来实现FTP操作

ftp4j是一个FTP客户端Java类库,实现了FTP客户端应具有的大部分功能。可以将ftp4j嵌到你的Java应用中,来传输文件(包括上传和下载),浏览远程FTP服务器上的目录和文件,创建、删除、重命,移动远程目录和文件。ftp4j提供多种方式连接到远程FTP服务器包括:通过 TCP/IP直接连接,通过FTP代理、HTTP代理、SOCKS4/4a代理和SOCKS5代理连接,通过SSL安全连接。 简单应用---API介绍 The main class of the library is FTPClient (it.sauronsoftware.ftp4j.FTPClient). 1. 创建F…

2008-12-01 09:02 · 散 · 评论(0)

QQ面试7(待续)

121、内部类可以引用他包含类的成员吗?有没有什么限制? 一个内部类对象可以访问创建它的外部类对象的内容 内部类如果不是static的,那么它可以访问创建它的外部类对象的所有属性 内部类如果是sattic的,即为nested class,那么它只可以访问创建它的外部类对象的所有static属性 一般普通类只有public或package的访问修饰,而内部类可以实现static,protected,private等访问修饰。 当从外部类继承的时候,内部类是不会被覆盖的,它们是完全独立的实体,每个都在自己的命名空间内,如果从内部类中明确地继承,就可以覆盖原来内部类的方法。 122、WEB SER…

2008-11-26 16:10 · QQ · 评论(0)