站内搜索的实现

0x55AA

基于Lucene.net3.03 加 ICTCLAS2014实现的站内搜索引擎

Lucene.net是一个搜索引擎的框架，它自身并不能实现搜索，需要我们自己在其中实现索引的建立，索引的查找。所有这些都是根据它自身提供的API来实现。Lucene.net本身是基于java的，但是经过翻译成.ne版本的，可以在ASP.net中使用这个来实现站内搜索。
    要实现基于汉语的搜索引擎，首先的要实现汉语的分词。目前网上大部分都是利用已经有的盘古分词来实现的分词系统，但是盘古分词效果不太好。在这里我把最新的ICTCLAS2014嵌入到Lucene.net中。Lucene.net中所有的分词系统都是基于Analyzer类来继承实现的。所以如果要使用ICTCLAS2014嵌入到Lucene.net中，就必要要继承Analyzer类实现自己的分词类。
1 ICTCLAS的引入
    首先我们要把ICTCLAS的dll引入到C#文件中 ，因为这个dll不是在C#中建立的类库，所以无法直接将其加入到C#的引用中。我们考虑使用下面的方法来实现，为了方便，我们把引入的函数以及结构体放入一个类中。如下所示：

1. using System;
   
2. using System.Collections.Generic;
   
3. using System.Linq;
   
4. using System.Text;
   
5. using System.Runtime.InteropServices;
   
6. using Lucene.Net.Analysis;
   
7. 
   
8. namespace Lucene.Net.Analysis.DChinese
   
9. {
   
10.     [StructLayout(LayoutKind.Explicit)]
    
11.     public struct result_t
    
12.     {
    
13.         [FieldOffset(0)]
    
14.         public int start;
    
15.         [FieldOffset(4)]
    
16.         public int length;
    
17.         [FieldOffset(8)]
    
18.         public int sPos1;
    
19.         [FieldOffset(12)]
    
20.         public int sPos2;
    
21.         [FieldOffset(16)]
    
22.         public int sPos3;
    
23.         [FieldOffset(20)]
    
24.         public int sPos4;
    
25.         [FieldOffset(24)]
    
26.         public int sPos5;
    
27.         [FieldOffset(28)]
    
28.         public int sPos6;
    
29.         [FieldOffset(32)]
    
30.         public int sPos7;
    
31.         [FieldOffset(36)]
    
32.         public int sPos8;
    
33.         [FieldOffset(40)]
    
34.         public int sPos9;
    
35.         [FieldOffset(44)]
    
36.         public int sPos10;
    
37.         //[FieldOffset(12)] public int sPosLow;
    
38.         [FieldOffset(48)]
    
39.         public int POS_id;
    
40.         [FieldOffset(52)]
    
41.         public int word_ID;
    
42.         [FieldOffset(56)]
    
43.         public int word_type;
    
44.         [FieldOffset(60)]
    
45.         public double weight;
    
46.     }
    
47.     public class SplitWord
    
48.     {
    
49.         const string path = @"NLPIR.dll";//设定dll的路径
    
50. 
    
51.         //对函数进行申明
    
52.         [DllImport(path, CharSet = CharSet.Ansi, EntryPoint = "NLPIR_Init", CallingConvention = CallingConvention.Cdecl)]
    
53.         public static extern bool NLPIR_Init(String sInitDirPath, int encoding = 0, String sLicenceCode = null);
    
54. 
    
55.         //特别注意，C语言的函数NLPIR_API const char * NLPIR_ParagraphProcess(const char *sParagraph,int bPOStagged=1);必须对应下面的申明
    
56.         [DllImport(path, CharSet = CharSet.Ansi, CallingConvention = CallingConvention.Cdecl, EntryPoint = "NLPIR_ParagraphProcess")]
    
57.         public static extern IntPtr NLPIR_ParagraphProcess(String sParagraph, int bPOStagged = 1);
    
58. 
    
59.         [DllImport(path, CharSet = CharSet.Ansi, EntryPoint = "NLPIR_Exit", CallingConvention = CallingConvention.Cdecl)]
    
60.         public static extern bool NLPIR_Exit();
    
61. 
    
62.         [DllImport(path, CharSet = CharSet.Ansi, EntryPoint = "NLPIR_ImportUserDict", CallingConvention = CallingConvention.Cdecl)]
    
63.         public static extern int NLPIR_ImportUserDict(String sFilename);
    
64. 
    
65.         [DllImport(path, CharSet = CharSet.Ansi, EntryPoint = "NLPIR_FileProcess", CallingConvention = CallingConvention.Cdecl)]
    
66.         public static extern bool NLPIR_FileProcess(String sSrcFilename, String sDestFilename, int bPOStagged = 1);
    
67. 
    
68.         [DllImport(path, CharSet = CharSet.Ansi, EntryPoint = "NLPIR_FileProcessEx", CallingConvention = CallingConvention.Cdecl)]
    
69.         public static extern bool NLPIR_FileProcessEx(String sSrcFilename, String sDestFilename);
    
70. 
    
71.         [DllImport(path, CharSet = CharSet.Ansi, EntryPoint = "NLPIR_GetParagraphProcessAWordCount", CallingConvention = CallingConvention.Cdecl)]
    
72.         public static extern int NLPIR_GetParagraphProcessAWordCount(String sParagraph);
    
73. 
    
74.         //NLPIR_GetParagraphProcessAWordCount
    
75.         [DllImport(path, CharSet = CharSet.Ansi, EntryPoint = "NLPIR_ParagraphProcessAW", CallingConvention = CallingConvention.Cdecl)]
    
76.         public static extern void NLPIR_ParagraphProcessAW(int nCount, [Out, MarshalAs(UnmanagedType.LPArray)] result_t[] result);
    
77. 
    
78.         [DllImport(path, CharSet = CharSet.Ansi, EntryPoint = "NLPIR_AddUserWord", CallingConvention = CallingConvention.Cdecl)]
    
79.         public static extern int NLPIR_AddUserWord(String sWord);
    
80. 
    
81.         [DllImport(path, CharSet = CharSet.Ansi, EntryPoint = "NLPIR_SaveTheUsrDic", CallingConvention = CallingConvention.Cdecl)]
    
82.         public static extern int NLPIR_SaveTheUsrDic();
    
83. 
    
84.         [DllImport(path, CharSet = CharSet.Ansi, EntryPoint = "NLPIR_DelUsrWord", CallingConvention = CallingConvention.Cdecl)]
    
85.         public static extern int NLPIR_DelUsrWord(String sWord);
    
86. 
    
87.         [DllImport(path, CharSet = CharSet.Ansi, EntryPoint = "NLPIR_NWI_Start", CallingConvention = CallingConvention.Cdecl)]
    
88.         public static extern bool NLPIR_NWI_Start();
    
89. 
    
90.         [DllImport(path, CharSet = CharSet.Ansi, EntryPoint = "NLPIR_NWI_Complete", CallingConvention = CallingConvention.Cdecl)]
    
91.         public static extern bool NLPIR_NWI_Complete();
    
92. 
    
93.         [DllImport(path, CharSet = CharSet.Ansi, EntryPoint = "NLPIR_NWI_AddFile", CallingConvention = CallingConvention.Cdecl)]
    
94.         public static extern bool NLPIR_NWI_AddFile(String sText);
    
95. 
    
96.         [DllImport(path, CharSet = CharSet.Ansi, EntryPoint = "NLPIR_NWI_AddMem", CallingConvention = CallingConvention.Cdecl)]
    
97.         public static extern bool NLPIR_NWI_AddMem(String sText);
    
98. 
    
99.         [DllImport(path, CharSet = CharSet.Ansi, CallingConvention = CallingConvention.Cdecl, EntryPoint = "NLPIR_NWI_GetResult")]
    
100.         public static extern IntPtr NLPIR_NWI_GetResult(bool bWeightOut = false);
     
101. 
     
102.         [DllImport(path, CharSet = CharSet.Ansi, EntryPoint = "NLPIR_NWI_Result2UserDict", CallingConvention = CallingConvention.Cdecl)]
     
103.         public static extern uint NLPIR_NWI_Result2UserDict();
     
104. 
     
105.         [DllImport(path, CharSet = CharSet.Ansi, EntryPoint = "NLPIR_GetKeyWords", CallingConvention = CallingConvention.Cdecl)]
     
106.         public static extern IntPtr NLPIR_GetKeyWords(String sText, int nMaxKeyLimit = 50, bool bWeightOut = false);
     
107. 
     
108.         [DllImport(path, CharSet = CharSet.Ansi, CallingConvention = CallingConvention.Cdecl, EntryPoint = "NLPIR_GetFileKeyWords")]
     
109.         public static extern IntPtr NLPIR_GetFileKeyWords(String sFilename, int nMaxKeyLimit = 50, bool bWeightOut = false);
     
110.     }
     
111. }

复制代码

这个类里面包含了所有的ICTCLAS的API函数，包含初始化，添加词语，添加词典，词典保存，分词等各种API。并且都是STATIC函数。
2 分词类DChineseAnalyzer的建立
分词类的建立我们参考StandarAnalyzer分词的实现，再次基础上实现了DChineseAnalyzer类。在分词类中实现必要的构造函数，以及

1. public override TokenStream TokenStream(System.String fieldName, System.IO.TextReader reader)
   
2. public override TokenStream ReusableTokenStream(System.String fieldName, System.IO.TextReader reader)

复制代码

这两个函数。他们的作用是在函数中调用用分词器Tokenizer的派生类来实现分词。在现有的版本中一般是在使用分词类的时候，直接调用ReusableTokenStream函数，而不是调用TokenStream函数，这样可以做到一个分词类对象的建立可供多个分词文本的使用。从而减少内存的浪费，提高效率。
以及一些字段，利用这些字段，我们可以加入一些停用词，用户自己的词典。
3 分词器DChineseTokenizer的建立
这个类是分词的核心关键所在。我们要在其中调用ICTCLAS中的分词。在这里面要注意的一个函数是

1. public override bool IncrementToken()

复制代码

它是我们获取下一个分词结果要用到的函数，如果想要遍历分词结果，就要建立一个循环，不断的调用IncrementToken函数。
整个分词系统代码如下所示：

1. using System;
   
2. using System.Collections.Generic;
   
3. using System.Linq;
   
4. using System.Text;
   
5. using System.IO;
   
6. using System.Runtime.InteropServices;
   
7. using Lucene.Net.Analysis;
   
8. using Lucene.Net.Analysis.Standard;
   
9. using Lucene.Net.Util;
   
10. using Lucene.Net.Documents;
    
11. using Lucene.Net.Analysis.Tokenattributes;
    
12. using Version = Lucene.Net.Util.Version;
    
13. 
    
14. namespace Lucene.Net.Analysis.DChinese
    
15. {
    
16.     public class DChineseAnalyzer : Analyzer
    
17.     {
    
18.         private ISet<string> stopSet;
    
19.         public static readonly ISet<string> STOP_WORDS_SET;
    
20.         private Version matchVersion;
    
21.         private bool replaceInvalidAcronym;
    
22.         private bool enableStopPositionIncrements;
    
23. 
    
24.         public DChineseAnalyzer(Version version, ISet<string> stopWords)
    
25.         {
    
26.             stopSet = stopWords;
    
27.             replaceInvalidAcronym = false;
    
28.             enableStopPositionIncrements = StopFilter.GetEnablePositionIncrementsVersionDefault(version);
    
29.             replaceInvalidAcronym = matchVersion.OnOrAfter(Version.LUCENE_24);
    
30.             this.matchVersion = version;
    
31.         }
    
32. 
    
33.         public DChineseAnalyzer(Version version)
    
34.             : this(version, STOP_WORDS_SET)
    
35.         {
    
36.         }
    
37. 
    
38.         public DChineseAnalyzer(Version version, System.IO.FileInfo stopWords)
    
39.             : this(version, WordlistLoader.GetWordSet(stopWords))
    
40.         {
    
41.         }
    
42. 
    
43.         static DChineseAnalyzer()
    
44.         {
    
45.             STOP_WORDS_SET = StopAnalyzer.ENGLISH_STOP_WORDS_SET;
    
46.         }
    
47.         public override TokenStream TokenStream(System.String fieldName, System.IO.TextReader reader)
    
48.         {
    
49.             TokenStream result = new DChineseTokenizer(matchVersion, reader);
    
50.             result = new LowerCaseFilter(result);
    
51.             result = new StopFilter(enableStopPositionIncrements, result, stopSet);
    
52.             result = new PorterStemFilter(result);
    
53.             return result;
    
54.         }
    
55. 
    
56.         private class SavedStreams
    
57.         {
    
58.             protected internal DChineseTokenizer source;
    
59.             protected internal TokenStream result;
    
60.         };
    
61.         public override TokenStream ReusableTokenStream(System.String fieldName, System.IO.TextReader reader)
    
62.         {
    
63.             SavedStreams streams = (SavedStreams)PreviousTokenStream;
    
64.             if (streams == null)
    
65.             {
    
66.                 streams = new SavedStreams();
    
67.                 streams.source = new DChineseTokenizer(matchVersion, reader);
    
68.                 streams.result = new LowerCaseFilter(streams.source);
    
69.                 streams.result = new StopFilter(enableStopPositionIncrements, streams.result, stopSet);
    
70.                 streams.result = new PorterStemFilter(streams.result);
    
71.                 PreviousTokenStream = streams;
    
72.             }
    
73.             else
    
74.             {
    
75.                 streams.source.Reset(reader);
    
76.             }
    
77. 
    
78.             streams.source.SetReplaceInvalidAcronym(replaceInvalidAcronym);
    
79.             return streams.result;
    
80.         }
    
81. 
    
82.     }
    
83. 
    
84.     public sealed class DChineseTokenizer : Tokenizer
    
85.     {
    
86. 
    
87.         private bool m_replaceInvalidAcronym;
    
88.         private int offset = 0;
    
89.         private int bufferIndex = 0;
    
90.         private int dataLen = 0;
    
91.         private const int MAX_WORD_LEN = 255;
    
92.         private const int IO_BUFFER_SIZE = 4096;
    
93.         private readonly char[] ioBuffer = new char[IO_BUFFER_SIZE];
    
94. 
    
95.         private ITermAttribute termAtt;
    
96.         private IOffsetAttribute offsetAtt;
    
97.         private IPositionIncrementAttribute posIncrAtt;
    
98. 
    
99. 
    
100. 
     
101.         private void Init(System.IO.TextReader input, Version matchVersion)
     
102.         {
     
103.             if (matchVersion.OnOrAfter(Version.LUCENE_24))
     
104.             {
     
105.                 m_replaceInvalidAcronym = true;
     
106.             }
     
107.             else
     
108.             {
     
109.                 m_replaceInvalidAcronym = false;
     
110.             }
     
111.             //this.input = input;
     
112.             this.input = ChangeInput(input);
     
113.             termAtt = AddAttribute<ITermAttribute>();
     
114.             offsetAtt = AddAttribute<IOffsetAttribute>();
     
115.             posIncrAtt = AddAttribute<IPositionIncrementAttribute>();
     
116.         }
     
117. 
     
118.         public DChineseTokenizer(Version matchVersion, System.IO.TextReader input)
     
119.             : base()
     
120.         {
     
121.             Init(input, matchVersion);
     
122.         }
     
123. 
     
124.         public DChineseTokenizer(Version matchVersion, System.IO.TextReader input, AttributeSource source)
     
125.             : base(source)
     
126.         {
     
127.             Init(input, matchVersion);
     
128.         }
     
129. 
     
130.         public DChineseTokenizer(Version matchVersion, System.IO.TextReader input, AttributeFactory factory)
     
131.             : base(factory)
     
132.         {
     
133.             Init(input, matchVersion);
     
134.         }
     
135. 
     
136.         public override bool IncrementToken()
     
137.         {
     
138.             ClearAttributes();
     
139.             int length = 0;
     
140.             int start = bufferIndex;
     
141.             char[] buffer = termAtt.TermBuffer();
     
142.             while (true)
     
143.             {
     
144. 
     
145.                 if (bufferIndex >= dataLen)
     
146.                 {
     
147.                     offset += dataLen;
     
148.                     dataLen = input.Read(ioBuffer, 0, ioBuffer.Length);
     
149.                     if (dataLen <= 0)
     
150.                     {
     
151.                         dataLen = 0;
     
152.                         if (length > 0)
     
153.                             break;
     
154.                         return false;
     
155.                     }
     
156.                     bufferIndex = 0;
     
157.                 }
     
158. 
     
159.                 char c = ioBuffer[bufferIndex++];
     
160. 
     
161.                 if (!System.Char.IsWhiteSpace(c))
     
162.                 {
     
163.                     if (length == 0)
     
164.                     {
     
165.                         start = offset + bufferIndex - 1;
     
166.                     }
     
167.                     else if (length == buffer.Length)
     
168.                     {
     
169.                         buffer = termAtt.ResizeTermBuffer(1 + length);
     
170.                     }
     
171. 
     
172.                     buffer[length++] = c;
     
173.                     if (length == MAX_WORD_LEN)
     
174.                         break;
     
175.                 }
     
176.                 else if (length > 0)
     
177.                     break;
     
178.             }
     
179. 
     
180.             termAtt.SetTermLength(length);
     
181.             offsetAtt.SetOffset(CorrectOffset(start), CorrectOffset(start + length));
     
182.             posIncrAtt.PositionIncrement = 1;
     
183.             return true;
     
184.         }
     
185. 
     
186.         public override void Reset()
     
187.         {
     
188.             base.Reset(input);
     
189.             bufferIndex = 0;
     
190.             offset = 0;
     
191.             dataLen = 0;
     
192.         }
     
193. 
     
194.         public override void Reset(TextReader input)
     
195.         {
     
196.             String inputString = input.ReadToEnd();
     
197.             IntPtr intPtr = SplitWord.NLPIR_ParagraphProcess(inputString, 0);
     
198.             string strResult = Marshal.PtrToStringAnsi(intPtr);
     
199.             this.input = new StringReader(strResult);
     
200.             bufferIndex = 0;
     
201.             offset = 0;
     
202.             dataLen = 0;
     
203.         }
     
204. 
     
205.         public override void End()
     
206.         {
     
207.             int finalOffset = CorrectOffset(offset);
     
208.             offsetAtt.SetOffset(finalOffset, finalOffset);
     
209.         }
     
210. 
     
211.         public void SetReplaceInvalidAcronym(bool replaceInvalidAcronym)
     
212.         {
     
213.             this.m_replaceInvalidAcronym = replaceInvalidAcronym;
     
214.         }
     
215. 
     
216.         private TextReader ChangeInput(TextReader input)
     
217.         {
     
218.             //string indexPath = System.Environment.CurrentDirectory;
     
219.             //string indexPath = GetType().Assembly.Location;
     
220.             //string indexPath = System.IO.Path.GetDirectoryName(Page.Request.PhysicalPath);
     
221.             //string dirParent = Directory.GetParent(indexPath).Parent.FullName;
     
222.             string dirParent = System.AppDomain.CurrentDomain.BaseDirectory;
     
223.             
     
224. 
     
225.             bool bInit = SplitWord.NLPIR_Init(dirParent, 0, null);
     
226.             if (!bInit)
     
227.             {
     
228.                 return null;
     
229.             }
     
230.             String inputString = input.ReadToEnd();
     
231.             IntPtr intPtr = SplitWord.NLPIR_ParagraphProcess(inputString, 0);
     
232.             string strResult = Marshal.PtrToStringAnsi(intPtr);
     
233.             return new StringReader(strResult);
     
234.         }
     
235.     }
     
236. }

复制代码

(2) 索引，查找
    分词系统建立完毕，这是基础也是核心，后面我们建立索引要用到分词系统。下面依次讲解索引的建立，索引的查找。
    索引的建立采用的是倒排序，原理就是遍历所有的文本，对其进行分词，然后把分的词汇建立索引表。形式类似如下：
词汇    出现词汇的篇章1，篇章2，篇章3……
    建立索引的时候要注意这样的Document，Field这俩术语。Document代表的是一个文档，它里面包含一个或者多个Filed，Field表示的就是一种域，你可以在一个Document里面添加各种各样的域，名字自己起，但是关于文档的内容一定要加进去，方式如下所示：

1. doc.Add(new Field("contents", str, Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.WITH_POSITIONS_OFFSETS));

复制代码

整个索引的建立如下所示：

1. using System;
   
2. using System.Collections.Generic;
   
3. using System.Linq;
   
4. using System.Web;
   
5. using System.IO;
   
6. using Lucene.Net.Analysis;
   
7. using Lucene.Net.Analysis.Standard;
   
8. using Lucene.Net.Index;
   
9. using Lucene.Net.Documents;
   
10. using Lucene.Net.Search;
    
11. using Lucene.Net.Analysis.DChinese;
    
12. 
    
13. using Version = Lucene.Net.Util.Version;
    
14. using FSDirectory = Lucene.Net.Store.FSDirectory;
    
15. using NativeFSLockFactory = Lucene.Net.Store.NativeFSLockFactory;
    
16. 
    
17. namespace WebApplication6
    
18. {
    
19.     public class IndexFiles
    
20.     {
    
21.         
    
22. 
    
23.         public static bool CreateIndexFromFile(DirectoryInfo docDir, DirectoryInfo IndexDir)
    
24.         {
    
25.             string strUserDicPath = System.AppDomain.CurrentDomain.BaseDirectory;
    
26.             string strTestDic = strUserDicPath;
    
27.             HashSet<string> lstStopWords = new HashSet<string>();
    
28. 
    
29.             strUserDicPath = strUserDicPath + "UserDictionary\\StopWords.txt";
    
30.             string[] strs = null;
    
31. 
    
32.             StreamWriter sw = new StreamWriter(strTestDic + "UserDictionary\\StopTest.txt");
    
33.             using (StreamReader strReader = new StreamReader(strUserDicPath))
    
34.             {
    
35.                 string strLine;
    
36.                 while ((strLine = strReader.ReadLine()) != null)
    
37.                 {
    
38.                     strLine = strLine.Trim();
    
39.                     strs = strLine.Split();
    
40.                     foreach (string str in strs)
    
41.                     {
    
42.                         lstStopWords.Add(str);
    
43.                         sw.WriteLine(str);
    
44.                         
    
45.                     }
    
46.                 }
    
47.                 strReader.Close();
    
48.                 sw.Close();
    
49.             }
    
50. 
    
51.             bool bExist = File.Exists(docDir.FullName) || Directory.Exists(docDir.FullName);
    
52.             if (!bExist)
    
53.             {
    
54.                 return false;
    
55.             }
    
56. 
    
57.             //using (IndexWriter writer = new IndexWriter(FSDirectory.Open(IndexDir), new DChineseAnalyzer(Version.LUCENE_30), true, IndexWriter.MaxFieldLength.LIMITED) )
    
58.             //IndexWriter writer = new IndexWriter(fsDirrctory, new StandardAnalyzer(Version.LUCENE_30), true, IndexWriter.MaxFieldLength.LIMITED);
    
59.             
    
60.             FSDirectory fsDirrctory = FSDirectory.Open(IndexDir, new NativeFSLockFactory());
    
61.             Analyzer analyzer = new DChineseAnalyzer(Version.LUCENE_30,lstStopWords);
    
62.             IndexWriter writer = new IndexWriter(fsDirrctory, analyzer, true, IndexWriter.MaxFieldLength.LIMITED);
    
63.             try
    
64.             {
    
65.                 IndexDirectory(writer, docDir);
    
66.                 writer.Optimize();
    
67.                 writer.Commit();
    
68.             }
    
69.             finally
    
70.             {
    
71.                 writer.Dispose();
    
72.                 fsDirrctory.Dispose();
    
73.             }
    
74.             
    
75.             return true;
    
76.         }
    
77. 
    
78.         internal static void IndexDirectory(IndexWriter writer, DirectoryInfo directory)
    
79.         {
    
80.             foreach (var subDirectory in directory.GetDirectories())
    
81.                 IndexDirectory(writer, subDirectory);
    
82. 
    
83.             foreach (var file in directory.GetFiles())
    
84.                 IndexDocs(writer, file);
    
85.         }
    
86. 
    
87.         internal static void IndexDocs(IndexWriter writer, FileInfo file)
    
88.         {
    
89.             Console.Out.WriteLine("adding " + file);
    
90. 
    
91.             try
    
92.             {
    
93.                 writer.AddDocument(Document(file));
    
94.             }
    
95.             catch (FileNotFoundException)
    
96.             {
    
97.                 // At least on Windows, some temporary files raise this exception with an
    
98.                 // "access denied" message checking if the file can be read doesn't help.
    
99.             }
    
100.             catch (UnauthorizedAccessException)
     
101.             {
     
102.                 // Handle any access-denied errors that occur while reading the file.   
     
103.             }
     
104.             catch (IOException)
     
105.             {
     
106.                 // Generic handler for any io-related exceptions that occur.
     
107.             }
     
108.         }
     
109. 
     
110.         public static Document Document(FileInfo f)
     
111.         {
     
112. 
     
113.             // make a new, empty document
     
114.             Document doc = new Document();
     
115. 
     
116.             // Add the path of the file as a field named "path".  Use a field that is
     
117.             // indexed (i.e. searchable), but don't tokenize the field into words.
     
118.             doc.Add(new Field("path", f.FullName, Field.Store.YES, Field.Index.NOT_ANALYZED));
     
119. 
     
120.             // Add the last modified date of the file a field named "modified".  Use
     
121.             // a field that is indexed (i.e. searchable), but don't tokenize the field
     
122.             // into words.
     
123.             doc.Add(new Field("modified", DateTools.TimeToString(f.LastWriteTime.Millisecond, DateTools.Resolution.MINUTE), Field.Store.YES, Field.Index.NOT_ANALYZED));
     
124. 
     
125.             // Add the contents of the file to a field named "contents".  Specify a Reader,
     
126.             // so that the text of the file is tokenized and indexed, but not stored.
     
127.             // Note that FileReader expects the file to be in the system's default encoding.
     
128.             // If that's not the case searching for special characters will fail.
     
129. 
     
130.             string str = File.ReadAllText(f.FullName);
     
131.             //doc.Add(new Field("contents", new StreamReader(f.FullName, System.Text.Encoding.UTF8)));
     
132.             doc.Add(new Field("contents", str, Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.WITH_POSITIONS_OFFSETS));
     
133. 
     
134.             // return the document
     
135.             return doc;
     
136.         }
     
137.     }
     
138. }

复制代码

查找的实现：
    Lucene.net中有多种多样的查找类，但是如果要实现多条件查询就要使用PhraseQuery
类。通过搜索函数把搜索结果放到容器里面。
    最后结果的呈现时候，我们把搜索结果放到列表里面，如果还要显示关键词加亮，那么就需要做一点额外的工作。在这里我是通过ColorWord这个类实现的。具体的搜索代码如下所示：

1. using System;
   
2. using System.Collections.Generic;
   
3. using System.Linq;
   
4. using System.Web;
   
5. using System.IO;
   
6. using Lucene.Net.Analysis;
   
7. using Lucene.Net.Analysis.DChinese;
   
8. using Lucene.Net.Documents;
   
9. using Lucene.Net.QueryParsers;
   
10. using Lucene.Net.Index;
    
11. using Lucene.Net.Search;
    
12. 
    
13. using FSDirectory = Lucene.Net.Store.FSDirectory;
    
14. using NoLockFactory = Lucene.Net.Store.NoLockFactory;
    
15. using Version = Lucene.Net.Util.Version;
    
16. 
    
17. namespace WebApplication6
    
18. {
    
19.     public static class SearchFiles
    
20.     {
    
21.         public static List<ItemList> SearchIndex(DirectoryInfo dirIndex, List<string> termList)
    
22.         {
    
23.             FSDirectory     dirFS    = FSDirectory.Open(dirIndex, new NoLockFactory());
    
24.             IndexReader     reader   = IndexReader.Open(dirFS,true);
    
25.             IndexSearcher   searcher = new IndexSearcher(reader);
    
26.             Analyzer        analyzer = new DChineseAnalyzer(Version.LUCENE_30);
    
27.             PhraseQuery     query    = new PhraseQuery();
    
28. 
    
29.             foreach (string word in termList)
    
30.             {
    
31.                 query.Add( new Term("contents",word) );
    
32.             }
    
33.             query.Slop = 100;
    
34. 
    
35.             TopScoreDocCollector collector = TopScoreDocCollector.Create(1000, true);
    
36.             searcher.Search(query,collector);
    
37.             ScoreDoc[] hits = collector.TopDocs().ScoreDocs;
    
38.             List<ItemList> lstResult = new List<ItemList>();
    
39.             for (int i = 0; i < hits.Length; i++)
    
40.             {
    
41.                 Document doc = new Document();
    
42.                 doc = searcher.Doc(hits[i].Doc);
    
43.                 ItemList item = new ItemList();
    
44.                 //item.ItemContent = doc.Get("contents");
    
45.                 item.ItemContent = ColorWord.addColor(doc.Get("contents"),termList);
    
46.                 item.ItemPath = doc.Get("path");
    
47.                 lstResult.Add(item);
    
48.             }
    
49.             return lstResult;
    
50.         }
    
51.     }
    
52. }

复制代码

最终结果展示：

0xAA55

你能把它改成PHP的吗？我论坛是PHP的，正缺这么一个搜索引擎呢。