前些天将qqcool的音乐程序改造成了一个书库程序,顺便自己写了一个采集程序。看到什么小说站好,就去采。结果在采集过程中遇到不少麻烦。现在将我遇到的麻烦写下来,希望大家以后在碰到时会处理好。
1、我的系统是windows xp,我是在本机器上采集好,生成HTML,然后上传到空间。(因为空间服务器的处理能力不是很大,经常会遇见HTML能访问,而ASP不能访问的情况)。我的文件系统是fat32,相信很多人都是用fat32。fat32有这样的限制,就是一个文件夹下面只能有32767个文件或文件夹。当时我在采集好数据以后,开始生成HTML,后来报错。而且报的错会让你摸不着头脑。于是我就到那个文件夹下去看,发现有32767个文件,这个数比较特殊,我就想会不会是有限制,到网上一查,果然是有限制。我只有将文件细分到不同的文件夹里了。
2、在数据采集到一定量后,程序又开始报错了。报的错也是让你摸不着头脑。经过仔细查找,最后注意到数据文件到了1.99G。于是想会不会是access的文件大小有限制?到网上一查,找到结果了。access的文件最大不能超过2G。怎么办呢,开始我想将文件分成几个,但发现在使用过程中会很麻烦。最后只有装成sqlserver才搞定。反正我是在本地使用。我的空间不用数据库的。呵呵。
3、于是继续开始采啊采,采啊采。又开始报错了。报的错同样不是给人看的。我想,会不会又有哪个地方有限制,一查,果然,sqlserver的数据文件到了3.99G.这个我知道,在fat32下面,最大文件不能超过4G。在windows下搞东西真是麻烦啊。于是我用windows的convert命令将C盘转为了NTFS。最后才一路顺风,想采谁就采谁。
大家不要小看以上三点,这可是我花了N天时间才搞定的,不过这也怪我水平不高,要是事先知道这些情况,就不会有这些麻烦了。
我将这些写出来,只是让那些还不知道以上情况的人知道,免得你们在建站过程中也遇到这种情况。要是不懂编程的人遇到那就更麻烦了。
其实上面这些情况,都只是在你的站有大量数据的情况下,才能遇见这些极点问题。一般人不会碰到。


