之前写过两篇关于java类加载的文章,分别是:《WebSphere的类加载机制和故障排查》 ,《再谈WebSphere的类加载和故障排查 》。今天在IBM网站上看到一篇《深入探讨 Java 类加载器 》,分享出来炒炒冷饭。以后遇到问题的时候也能有点方向。
Java 虚拟机默认的行为就已经足够满足大多数情况的需求了。不过如果遇到了需要与类加载器进行交互的情况,而对类加载器的机制又不是很了解的话,就很容易花大量的时间去调试 ClassNotFoundException 和 NoClassDefFoundError 等异常。本文将详细介绍 Java 的类加载器,帮助读者深刻理解 Java 语言中的这个重要概念。
很早就看过,不过那时候没网站,也就没上心,自从开了JQ公会 ,头两月还好,第三个月搜狗的爬虫每天就占了几G的流量,不过那时候是虚拟主机,可配置性不大。现在转到VPS,也要开始注意了。
http://robbin.javaeye.com/
因为搜索引擎的流行,网络爬虫已经成了很普及网络技术,除了专门做搜索的Google,Yahoo,微软,百度以外,几乎每个大型门户网站都有自己的搜索引擎,大大小小叫得出来名字得就几十种,还有各种不知名的几千几万种,对于一个内容型驱动的网站来说,受到网络爬虫的光顾是不可避免的。
一些智能的搜索引擎爬虫的爬取频率比较合理,对网站资源消耗比较少,但是很多糟糕的网络爬虫,对网页爬取能力很差,经常并发几十上百个请求循环重复抓取,这种爬虫对中小型网站往往是毁灭性打击,特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强。曾经有一次我在JavaEye 的日志里面发现一个User-Agent是Java的爬虫一天之内爬取了将近100万次动态请求。这是一个用JDK标准类库编写的简单爬取网页程序,由于JavaEye网站内部链接构成了回环导致程序陷入了死循环。对于JavaEye这种百万PV级别的网站来说,这种爬虫造成的访问压力会非常大,会导致网站访问速度缓慢,甚至无法访问。
此外,相当数量的的网页爬虫目的是盗取目标网站的内容。比方说JavaEye网站就曾经被两个竞争对手网站爬取论坛帖子,然后在自己的论坛里面用机器人发帖,因此这种爬虫不仅仅影响网站访问速度,而且侵犯了网站的版权。
对于一个原创内容丰富,URL结构合理易于爬取的网站来说,简直就是各种爬虫的盘中大餐,很多网站的访问流量构成当中,爬虫带来的流量要远远超过真实用户访问流量,甚至爬虫流量要高出真实流量一个数量级。像JavaEye网站虽然设置了相当严格的反爬虫策略,但是网站处理的动态请求数量仍然是真实用户访问流量的2倍。可以肯定的说,当今互联网的网络流量至少有2/3的流量爬虫带来的。因此反爬虫是一个值得网站长期探索和解决的问题。
阅读全文…
之前看的很多was优化案例,包括自己实施过程中都只从WebSphere的角度来考虑问题,虽然WAS的优化中包括了操作系统层面的优化,比如对AIX、HPUX的系统参数做出调整,对于网络tcp的参数做出改动,但并没有更进一步,在进行LPAR分区前就做出完整的规划。
WebSphere管理员和硬件与操作系统管理员往往交流不多,且是串行的实施顺序。虽说也就那么做下来了,但是是否充分发挥了硬件的资源,是否达到了最好的性能,最稳定的运行,还是可以有改进的余地?都值得探讨。IBM网站上这三篇文章可谓打通了两种管理员之间的任督二脉,看懂了总有好处。
本书提供了整体系统观点,重点关注在 Power System 和 AIX 上运行 WebSphere Application Server 负载的环境的端到端系统部署、调优和管理方法。因而,本书为两类截然不同的技术读者架起了一座桥梁,也就是硬件和操作系统管理员与 WebSphere Application Server 应用软件工程师。我们都了解,在典型的企业环境中,这两类技术读者需要密切合作,但仍然有着不同的视角和职责。然而,对于企业来说,在度量 Power System 和 AIX 上运行的 WebSphere Application Server 投资的成败时,最终要取决于所有系统架构师能否很好地理解如何同心协力地利用每种产品的特有优势。因而,我们首先要做的是澄清各种观点。
在 Power System 上优化 WebSphere Application Server,第 1 部分: 入门以及优化策略
在 Power System 上优化 WebSphere Application Server,第 2 部分: 设置 Power System 硬件和分区(上)
在 Power System 上优化 WebSphere Application Server,第 3 部分: 设置 Power System 硬件和分区(下)
有空么可以再看看《WebSphere Application Server V6.1 Planning and Design WebSphere Handbook Series》
最近的几个项目里都用到Linux,于是不能像UNIX下有同事帮忙配置好一切那样轻松,要自力更生了。首先记录一下每次都会用到却还没深深记录在我的艾宾浩斯记忆曲线中的SSH相关知识。
SSH的全称为Secure Shell Protocol,是一种在互联网上提供安全远程登录(取代telnet)及其它安全网络服务(取代FTP)的协议,只要在客户端连接时选择SSH协议即可。对于服务器端的配置,Red Hat Enterprise Linux默认开启了SSH服务,对于配置文件的详细解释,可以参考下面两篇文章。
sshd_config配置 详解
sshd_config 中文手册
由于SSH的传输加密特性,还可以用来做安全隧道
SSH tunnel tips
IBM developworks上的这一篇 实战 SSH 端口转发 介绍的更为详细,而且有“X 协议转发实例分析”,在维护UNIX/LINUX时可以更方便。
安全隧道的实际用途之一么,当然是用来翻墙。
Firefox + Autoproxy + Tor 使用详解(转载)
MyEnTunnel+FireFox+FoxyProxy 通过SSH帐号翻墙教程
如何使用代理服务器
当然用PPTP建个VPN也是可以的
利用低端VPS开设VPN翻墙
科学松鼠会 的一篇公钥安全机制与宫爆鸡丁的故事 不错
扯远了,最后付一篇
Unix/Linux 系统自动化管理: 远程登录篇
爆竹声中一岁除,春风送暖入屠苏。
现在一年年过的是越来越快,还没做什么就又到了除夕,看看现在和一年前的自己,除了年岁增长,别的都停滞不前。
于是安慰自己,把时间放到十年的跨度,希望十年后,能面对一个更理性的社会,更自信的自己。
最后奉上《南方周末》的《十年》。
强文共赏,原文在这里 ,作者是推倒柏林墙。
男足这次3:0胜了韩国,举国上下全翻腾了,网上各种油菜花的评论妙语连珠,极尽调侃之能事。不过相比这篇文章,还是逊色不少。原来被国人臭骂了十来年的男足,才是俺们的骄傲。想想也是,国足不就是那日本热血动画片里一直失败却又不曾放弃的小强么?只是没有外挂罩着罢了。
借一句作者文中的话:每当看社会新闻气到吐血的时候,只有国家队的比赛,才能弭平我心灵的创伤。
最及时的声音