—- 一、引言 —- 随着Internet的飞速发展，人们越来越依靠网络来查找他们所需要的信息，但是，由于网上的信息源多不胜数，也就是我们经常所说的”Rich Data, Poor Information”。所以如何有效的去发现我们所需要的信息，就成了一个很关键的问题。为了解决这个问题，搜索引擎就随之诞生。 —- 现在在网上的搜索引擎也已经有很多，比较著名的有AltaVista, Yahoo, InfoSeek, Metacrawler, SavvySearch等等。国内也建立了很多的搜索引擎，比如：搜狐、新浪、北极星等等,当然由于它们建立的时间不长，在信息搜索的取全率和取准率上都有待于改进和提高。 —- Alta Vista是一个速度很快的搜索引擎，由于它强大的硬件配置，使它能够做及其复杂的查询。它主要是基于关键字进行查询，它漫游的领域有Web和Usenet。支持布尔查询的”AND”，”OR”和”NOT”，同时还加上最相近定位”NEAR”，允许通配符和”向后”搜索（比如：你可以查找链接到某一页的所有Web站点）。你可以决定是否对搜索的短语加上权值，在文档的什么部位去查找它们。能够进行短语查询而不是简单的单词查询的优点是很明显的，比如，我们想要查找一个短语”to be or not to be”，如果只是把它们分解成单词的话，这些单词都是属于Stop Word，这样这个查询就不会有任何结果，但是把它当作一个整体来查询，就很容易返回一些结果，比如关于哈姆雷特或者是莎士比亚等等的信息。系统对查询结果所得到的网页的打分是根据在网页中所包含的你的搜索短语的多少，它们在文档的什么位置以及搜索短语在文档内部之间的距离来决定的。同时可以把得到的搜索结果翻译成其他的语言。 —- Exite是称为具有”智能”的搜索引擎，因为它建立了一个基于概念的索引。当然，它所谓的”智能”是基于对概率统计的灵活应用。它能够同时进行基于概念和关键字的索引。它能够索引Web,Usenet和分类的广告。支持”AND”，”OR”，”NOT”等布尔操作，同时也可以使用符号”+”和”-“。缺点是在返回的查询结果中没有指定网页的尺寸和格式。 —- InfoSeek是一个简单但是功能强大的索引，它的一个优点是有一个面向主题搜索的可扩展的分类。你可以把你的搜索短语和相似的分类目录的主题短语相互参照，而那些主题短语会自动加到你的查询中去。使你的搜索有更好的主题相关性。同时它也支持对图象的查询。它能够漫游Web,Usenet,Usenet FAQs等等。不支持布尔操作，但是可以使用符号”+”和”-“（相当于”AND”和”NOT”） —- Yahoo实际上不能称为是一个搜索引擎站点，但是它提供了一个分层的主题索引，使你能够从一个通常的主题进入到一个特定的主题，Yahoo对Web进行了有效的组织和分类。比如你想要建立一个网页，但是你不知道如何操作，为了在Yahoo上找到关于建立网页的信息，你可以先在Yahoo上选择一个主题：计算机和Internet，然后在这个主题下，你可以发现一些子主题，比如：Web网页制作，CGI编程，JAVA，HTML，网页设计等，选择一个和你要找的相关的子主题，最终你就可以得到和该子主题相关的所有的网页的链接。也就是说，如果你对要查找的内容属于哪个主题十分清楚的话，通过目录查询的方法要比一般的使用搜索引擎有更好的准确率。你可以搜索Yahoo的索引，但是事实上，你并没有在搜索整个Web。但是Yahoo提供了选项使你可以同时搜索其他的搜索引擎，比如：Alta Vista。但是要注意的是Yahoo实际上只是对Web的一小部分进行了分类和组织，而且它的实效性也不是很好。 —- 搜索引擎的基本原理是通过网络机器人定期在web网页上爬行，然后发现新的网页，把它们取回来放到本地的数据库中，用户的查询请求可以通过查询本地的数据库来得到。如yahoo每天会找到大约500万个新的网页。 —- 搜索引擎的实现机制一般有两种，一种是通过手工方式对网页进行索引，比如yahoo的网页是通过手工分类的方式实现的，它的缺点是Web的覆盖率比较低，同时不能保证最新的信息。查询匹配是通过用户写入的关键字和网页的描述和标题来进行匹配，而不是通过全文的匹配进行的。第二种是对网页进行自动的索引，象AltaVista则是完全通过自动索引实现的。这种能实现自动的文档分类，实际上采用了信息提取的技术。但是在分类准确性上可能不如手工分类。 —- 搜索引擎一般都有一个Robot定期的访问一些站点，来检查这些站点的变化，同时查找新的站点。一般站点有一个robot.txt文件用来说明服务器不希望Robot访问的区域，Robot 都必须遵守这个规定。如果是自动索引的话，Robot在得到页面以后，需要对该页面根据其内容进行索引，根据它的关键字的情况把它归到某一类中。页面的信息是通过元数据的形式保存的，典型的元数据包括标题、IP地址、一个该页面的简要的介绍，关键字或者是索引短语、文件的大小和最后的更新的日期。尽管元数据有一定的标准，但是很多站点都采用自己的模板。文档提取机制和索引策略对Web搜索引擎的有效性有很大的关系。高级的搜索选项一般包括：布尔方法或者是短语匹配和自然语言处理。一个查询所产生的结果按照提取机制被分成不同的等级提交给用户。最相关的放在最前面。每一个提取出来的文档的元数据被显示给用户。同时包括该文档所在的URL地址。 —- 另外有一些关于某一个主题的专门的引擎，它们只对某一个主题的内容进行搜索和处理，这样信息的取全率和精度相对就比较高。 —- 同时，有一类搜索引擎，它本身不用Robot去定期的采集网页。象SavvySearch 和 MetaCrawler是通过向多个搜索引擎同时发出询问并对结果进行综合返回给用户实现搜索功能。当然实际上象SavvySearch能够对各个搜索引擎的功能进行分析和比较，根据不同的用户查询提交给不同的搜索引擎进行处理，当然用户自己也可以指定利用哪一个搜索引擎。 —- 一个优秀的搜索引擎必须处理以下几个问题：1 网页的分类2 自然语言的处理3 搜索策略的调度和协作 4 面向特定用户的搜索。所以很多搜索引擎不同程度的使用了一些人工智能的技术来解决这些方面的问题。 —- 二、网络Spider的实现描述 —- 现在有很多文章对Web引擎做了大量的介绍和分析，但是很少有对它们的实现做一个详细的描述，这里我们主要来介绍一个具有基本功能的Web引擎的实现。本文，我们以类C++语言的形式来描述Web引擎如何采集网页并存放到数据库中的过程。同时描述了如何根据用户输入的关键字查询数据库并得到相关网页的过程。 —- […]

—- 我在用ASP为某单位制作网页时遇到这样一个问题，单位以前的MIS系统中将一些Word文件以字节流的形式保存在数据库中，现在用户要求我用ASP将这些Word文件数据从数据库中取出并在网页中显示出来。开始我自然地想到在服务器上创建临时文件、然后在网页中增加一个指向这个临时文件的链接，但这个方法将大大增加服务器的负担不说，而且在服务上如何保证特定客户端所使用的临时文件不被其它客户端使用的文件覆盖，如何在文件传送给用户后将文件删除，这些问题在实际都难很好解决。那么有没有更好的办法呢？ —- 为此我仔细查看了一下ASP的参考书，发现Response对象有一个叫contenttype的属性，它定义服务器发送给客户端内容的MIME类型。MIME全称Multipurpose Internet Mail Extensions，即多功能Internet邮件扩展。我们知道，在网页编程中我们有时将超链接指向一个Word或Excel文件，当用户点击这个链接时浏览器会自动调用对应方法将这个文件打开。之所以能做到这点就是因为用户机器上安装office后会在浏览器中注册对应的MIME资源类型。比如说word文件的MIME类型是Application/msword（前者是MIME类型，后者是MIME子类），Excel文件的MIME资源类型是Application/msexcel。事实上，凡是浏览器能处理的所有资源都有对应的MIME资源类型，比如说html文件的MIME类型是Text/html，JPG文件的MIME类型是Image/JPG。在与服务器的交互中，浏览器就是根据所接受数据的MIME类型来判断要进行什么样的处理，对html、JPG等文件浏览器直接将其打开，对Word、Excel等浏览器自身不能打开的文件则调用相应方法打开。对没有标记MIME类型的文件，浏览器则根据其扩展名和文件内容猜测其类型。如果浏览器无法猜出，则将它作为application/octet-stream。要了解各种文件的MIME类型，请在win98 我的电脑->查看->文件夹选项->文件类型 中查看。 —- 于是我灵机一动，想到在ASP中可以先将WORD数据以字节流方式取出，接着将其conntenttype属性标记为Application/msword，再将它发送给客户机，客户机收到这个资源后，根据其MIME类型，会自动调用客户机上的Word（当然，前提是客户机上装了Word，否则会将其作为一个不能识别的资源，提示用户保存起来，而不是打开它）将它打开。经试验效果很好，方法简单且速度很快，而且在IE5中浏览器使用内嵌方式（类似于OLE方式）打开，效果更佳。以下是程序内容。 —- 假设表名tab_word，表中有两个字段，一个是整型，名id，用作Word数据的唯一标识，另一个Blob型，名worddata，里面存放Word数据。现在要在页面上显示id等于1的Word文件内容， ASP程序如下：     < %     ´ conn – 已创建的数据库连接     ´ rs  —  结果集     rs = conn.execute(“select     worddata from tab_word where id = 1”)     response.contenttype = “Application/msword”     response.writebinary(rs(“worddata”))     ´注意将结果集中的数据直接用writebinary发送出去，不要用变量     […]

在目前的网站统计系统决大部分都是CGI的，但编写起来特别复杂，而ASP学起来简单，更有和数据库结合的优点，所以结合自己曾经做过的网站统计系统，和大家探讨一下ASP编写网站统计系统。 　　大家都看过网易的网站统计系统，它可以统计总访问量，每日平均访问量，当日访问量，最高访问量，最高访问日期，日流量分析，月流量分析，周流量分析，浏览器分析，等等。 　　其实要做一个ASP的访问统计系统关键是系统表结构的设计。以及如何来采集用户的CGI变量，如何来显示用户的信息。也就是说系统的关键是两个ASP程序，统计程序和显示程序。 　　首先我们先看看如何来采集用户的访问信息。 　　我们编写访问统计需要知道用户的如下信息，访问者的IP（根据访问IP可以形成访问者IP列表），访问者的浏览器与操作系统（统计访问者的浏览器与操作系统及所有访问者浏览器与操作系统比例图），访问者的访问时间（进行日访问量分析，月访问量分析，周访问量分析），下面我们来看看用ASP的获得以上信息的语句： 　　1。获得访问者IP 　　Dim M_IP 　　M_IP=Request.Servervariables(“REMOTE_HOST”) 　　用上面的语句可以取得访问者的IP。 　　2。获得浏览器信息 　　Dim O_Browser,M_BrowserType 　　Set O_Browser=Server.Createobject(“MSWC.BrowserType”) 　　M_BrowserType=O_Browser.Browser+O_Browser.Version 　　3。获得访问时间 　　Dim M_DateTime 　　M_DateTime=Year(Date())&”/”&Right(“0″&Month(Date()),2)&”/”Right(“0″&Day(Date()),2)&”/”&Right(“0″&Hour(Time()),2)&”:”&Right(“0″&Minute(Time()),2)&”:”&Right(“0″&Second(Time()),2) 　　1　取得用户的操作系统。 　　在ASP中使用如下语句可以得到访问者的http_user_agent字符串。 　　Dim StrUserAgent 　　StrUserAgent=Request.ServerVariables(“HTTP_USER_AGENT”) 　　这个字符串一般是如下格式： 　　Mozilla/4.0 (compatible; MSIE 4.01; Windows 98) 　　上面的字符串可以说明访问者使用的操作系统是Windows98,浏览器是MSIE 4.01,但是这个字符串格式不固定，而且可以自己更改。 　　平常我们所见的其它一些主要的UserAgent字符串如下： 　　使用IE的浏览器： 　　Mozilla/2.0 (compatible; MSIE 3.01; Windows 95) 　　Mozilla/4.0 (compatible; MSIE 4.0; Windows 95); 　　Mozilla/4.0 (compatible; MSIE 4.01; Windows 98) 　　Mozilla/4.0 […]