百度搜索引擎的原理其中之一就是定期的派出网络爬虫到互联网上去爬取网页.我这里用java写了一个最简单的小程序来实现这一功能.
工具/原料
1
Eclipse
2
JDK 1.6
3
EditPlus
方法/步骤
1
我希望输入一个有效的网址后返回这一网址下的网页源码,则有代码如图:
2
通过网址连接到指定的网址
3
在运行之前把开发空间的的编码改为UTF-8,否则编译执行返回的网页中的中文会变成乱码
4
连接成功后通过连接对象得到输入流,读出输入流就可以得到网页代码
5
运行后得到的网页代码如下
6
把返回的代码复制到EditPlus中运行一下看看
注意事项
运行的结果百度的logo之所以没有是因为没有路径中没有http:,只有在服务器上才可以看