import java.io.File;
import java.io.Reader;
import java.io.FileInputStream;
import java.io.*;
import java.util.Date;
import java.util.HashSet;/**
* <p>Title: Java中文分词接口</p>
* <p>Description: 本组件以哈工大分词系统为基础，在其基础之上开发
* 本组件仅供学习和研究用途，任何商业用途将自行承担法律后果，与组件编写人无关。</p>
* <p>Copyright: Copyright (c) 2006</p>
* <p>Company: dalian univercity of techology</p>
* @author ：yezheng
* @version 1.0
*/

public class IRSplit {

private static IRSplit instance = null; //instance时类中一成员，所以可以访问其中被private修饰的变量或方法
private static StringBuffer stringb = new StringBuffer(102400);
private static StringBuffer longSentence = new StringBuffer(10240);

//私有构造方法
private IRSplit() {
System.out.println(“正在加载词典……”);
this.LoadSegRes();
System.out.println(“加载结束”);
}

//获得一个实例
public static IRSplit getInstance() {
if (instance == null) {
instance = new IRSplit();
}
return instance;
}

//本地方法
private native void LoadSegRes();

private native void ReleaseSegger();

private native String split(String sentence);

//对一句话分词
public String splitSentence(String sentence) {
if (sentence.length() < 1 || sentence == null)
return “”;
else
return split(sentence);
}

public String splitLongSentence(String sentence) {
if (sentence.length() < 1 || sentence == null)
return “”;
else
{
this.longSentence.setLength(0);
int start = 0 ; int  end = 0;
for (int i = 0; i < sentence.length(); i++)
{
char c = sentence.charAt(i);
switch (Character.getType(c))
{
case 24:
end++;
//System.out.println(sentence.substring(start, end));
this.longSentence.append(split(sentence.substring(start, end)));
start = end;
break;
default:
end++;
break;
}
}
if(start < end)
{
longSentence.append(split(sentence.substring(start, end)));
}
return longSentence.toString();
}
}

public void ReleaseSeggers() {
instance = null;
ReleaseSegger();
}

//对一个文件分词
public void splitFile(File file, File outfile) {
try {
FileInputStream fis = new FileInputStream(file);
BufferedReader br = new BufferedReader(new InputStreamReader(fis));
this.stringb.setLength(0);
String ts;
while ( (ts = br.readLine()) != null) {
if (ts.length() != 0) {
stringb.append(splitLongSentence(ts) + ‘r’ + ‘n’); //进行分词
}
else {
stringb.append(‘r’);
stringb.append(‘n’);
}
}
br.close();
fis.close();

FileWriter writer = new FileWriter(outfile);
writer.write(stringb.toString());
writer.close();
}
catch (FileNotFoundException ex) {
System.out.println(file.toString() + “File not Found”);
}
catch (IOException ex1) {
System.out.println(file.toString() + “IO errors”);
}
}

public void splitFile(String source, String destination) {
File file = new File(source);
File outfile = new File(destination);
if (file.isFile()) {
splitFile(file, outfile);
}
}

public Reader splitFile(Reader reader) {
BufferedReader br = new BufferedReader(reader);
StringBuffer stringb = new StringBuffer();

try {
String ts;
while ( (ts = br.readLine()) != null) {
if (ts.length() != 0) {
stringb.append(splitSentence(ts) + ‘r’ + ‘n’); //进行分词
}
else {
stringb.append(‘r’);
stringb.append(‘n’);
}
}
reader = new StringReader(stringb.toString());
}
catch (IOException ex) {
}
return reader;
}

//处理一个目录下的所有文件
public void splitFiles(String sourceDir, String destinationDir) { //参数：源文件目录和目标文件目录
File directory = new File(sourceDir);
File dirdes = new File(destinationDir);
//FilenameFilter txtFilter = new myFilter(“txt”);
File files[] = directory.listFiles();
for (int i = 0; i < files.length; i++) {
if (files[i].isFile()) {
File outfile = new File(destinationDir + “/” +
files[i].getName());
//System.out.println(directory.getName() + “:” + dirdes.getName());
splitFile(files[i], outfile);
}
else if (files[i].isDirectory()) {

File tempdir = new File(destinationDir + “/” + files[i].getName());
if (!tempdir.exists() || !tempdir.isDirectory()) {
tempdir.mkdir();
}
splitFiles(sourceDir + “/” + files[i].getName(),
tempdir.getAbsolutePath());
}
}
}

static {
System.loadLibrary(“IRdll”);
}

public static void main(String[] args) {

IRSplit split = IRSplit.getInstance(); //其它类使用

long start = System.currentTimeMillis();
Date startdate = new Date();

//split.splitFiles(“clean”, “out”);
split.splitLongSentence(ss);

Date enddate = new Date();

System.out.println(startdate);
System.out.println(enddate);
System.out.println(enddate.getTime()- startdate.getTime());
}

}

终于清楚如何用读Lucene的索引 。本文要介绍一下如何利用IndexReader获取信息。为什么要读索引呢？因为我需要实现这些功能：
(1) 统计term在整个collection中的文档频度(document frequency, DF)；
(2) 统计term在整个collection中出现的词次(term frequency in whole collection)；
(3) 统计term在某个文档中出现的频度(term frequency, TF)；
(4) 列出term在某文档中出现的位置(position)；
(5) 整个collection中文档的个数；

那 么为什么要用到这些数据呢？这些数据是实现TR(Text Retrieval，文本检索)的必备的”原料”，而且是经过加工的。在检索之前，只有原始文本(raw data)；经过索引器(indexer)的处理之后，原始文本变成了一个一个的term(或者token)，然后被indexer纪录下来所在的位置、 出现的次数。有了这些数据，应用一些模型，就可以实现搜索引擎实现的功能――文本检索。

聪明的读 者您可能会说，这看起来似乎很好做，不过就是计数(count)么。不错，就是计数，或者说是统计。但是看似简单的过程，如果加上空间(内存容量)的限 制，就显得不那么简单了。假设如果每篇文档有100个term，每个term需要存储10字节信息，存1,000,000篇文档需要 10x100x10^6=10^9=2^30字节，也就是1GB。虽然现在1G内存不算什么，可是总不能把1GB的数据时时刻刻都放入内存吧。那么放入硬 盘好了，现在需要用数据的时候，再把1GB数据从硬盘搬到内存。OK，可以先去冲杯咖啡，回来在继续下面的操作。这是1,000,000的文档，如果更多 一点呢，现在没有任何辅助数据结构的方式，会导致很差的效率。

Lucene的索引会把数据分成 段，并且在需要的时候才读，不需要的时候就让数据乖乖地呆在硬盘上。Lucene本身是一个优秀的索引引擎，能够提供有效的索引和检索机制。文本的目的 是，介绍如用利用Lucene的API，如何从已经建好的索引的数据中读取需要的信息。至于Lucene如何使用，我会在后续的文章中逐渐介绍。

我们一步一步来看。这里建设已经有实现建好索引，存放在index目录下。好，要读索引，总得先生成一个读索引器(即Lucene中IndexReader的实例)。好，写下面的程序(程序为C#程序，本文使用DotLucene)。
IndexReader reader;
问 题出来了，IndexReader是一个abstract类，不能实例化。那好，换派生类试试看。找到IndexReader的两个孩子 ――SegmentReader和MultiReader。用哪个呢？无论是哪个都需要一大堆参数(我是颇费了周折才搞清楚它们的用途，后面再解释)，似 乎想用Lucene的索引数据不是那么容易啊。通过跟踪代码和查阅文档，我终于找到使用IndexReader的钥匙。原来IndexReader有一个 “工厂模式”的static interface――IndexReader.Open。定义如下：
#0001 public static IndexReader Open(System.String path)
#0002 public static IndexReader Open(System.IO.FileInfo path)
#0003 public static IndexReader Open(Directory directory)
#0004 private static IndexReader Open(Directory directory, bool closeDirectory)
其中有三个是public的接口，可供调用。打开一个索引，就是这么简单：
#0001 IndexReader reader = IndexReader.Open(index);

实际上，这个打开索引经历了这样的一个过程：
#0001 SegmentInfos infos = new SegmentInfos();
#0002 Directory directory = FSDirectory.GetDirectory(index, false);
#0003 infos.Read(directory);
#0004 bool closeDirectory = false;
#0005 if (infos.Count == 1)
#0006 {
#0007 // index is optimized
#0008 return new SegmentReader(infos, infos.Info(0), closeDirectory);
#0009 }
#0010 else
#0011 {
#0012 IndexReader[] readers = new IndexReader[infos.Count];
#0013 for (int i = 0; i < infos.Count; i++)
#0014 readers[i] = new SegmentReader(infos.Info(i));
#0015 return new MultiReader(directory, infos, closeDirectory, readers);
#0016 }

首 先要读入索引的段信息(segment information, #0001~#0003)，然后看一下有几个段：如果只有一个，那么可能是优化过的，直接读取这一个段就可以(#0008)；否则需要一次读入各个段 (#0013~#0014)，然后再拼成一个MultiReader(#0015)。打开索引文件的过程就是这样。

接下来我们要看看如何读取信息了。用下面这段代码来说明。
#0001 public static void PrintIndex(IndexReader reader)
#0002 {
#0003 //显示有多少个document
#0004 System.Console.WriteLine(reader + “tNumDocs = ” + reader.NumDocs());
#0005 for (int i = 0; i < reader.NumDocs(); i++)
#0006 {
#0007 System.Console.WriteLine(reader.Document(i));
#0008 }
#0009
#0010 //枚举term，获得<document, term freq, position* >信息
#0011 TermEnum termEnum = reader.Terms();
#0012 while (termEnum.Next())
#0013 {
#0014 System.Console.Write(termEnum.Term());
#0015 System.Console.WriteLine(“tDocFreq=” + termEnum.DocFreq());
#0016
#0017 TermPositions termPositions = reader.TermPositions(termEnum.Term());
#0018 int i = 0;
#0019 int j = 0;
#0020 while (termPositions.Next())
#0021 {
#0022 System.Console.WriteLine((i++) + “->” + ” DocNo:” + termPositions.Doc() + “, Freq:” + termPositions.Freq());
#0023 for (j = 0; j < termPositions.Freq(); j++)
#0024 System.Console.Write(“[" + termPositions.NextPosition() + "]“);
#0025 System.Console.WriteLine();
#0026 }
#0027
#0028 //直接获取 <term freq, document> 的信息
#0029 TermDocs termDocs = reader.TermDocs(termEnum.Term());
#0030 while (termDocs.Next())
#0031 {
#0032 System.Console.WriteLine((i++) + “->” + ” DocNo:” + termDocs.Doc() + “, Freq:” + termDocs.Freq());
#0033 }
#0034 }
#0035
#0036 // FieldInfos fieldInfos = reader.fieldInfos;
#0037 // FieldInfo pathFieldInfo = fieldInfos.FieldInfo(“path”);
#0038
#0039 //显示 term frequency vector
#0040 for (int i = 0; i < reader.NumDocs(); i++)
#0041 {
#0042 //对contents的token之后的term存于了TermFreqVector
#0043 TermFreqVector termFreqVector = reader.GetTermFreqVector(i, “contents”);
#0044
#0045 if (termFreqVector == null)
#0046 {
#0047 System.Console.WriteLine(“termFreqVector is null.”);
#0048 continue;
#0049 }
#0050
#0051 String fieldName = termFreqVector.GetField();
#0052 String[] terms = termFreqVector.GetTerms();
#0053 int[] frequences = termFreqVector.GetTermFrequencies();
#0054
#0055 System.Console.Write(“FieldName:” + fieldName);
#0056 for (int j = 0; j < terms.Length; j++)
#0057 {
#0058 System.Console.Write(“[" + terms[j] + “:” + frequences[j] + “]”);
#0059 }
#0060 System.Console.WriteLine();
#0061 }
#0062 System.Console.WriteLine();
#0063 }

#0004 计算document的个数
#0012~#0034 枚举collection中所有的term
其中#0017~#0026 枚举每个term在出现的document中的所有位置(第几个词，从1开始计数)；#0029~#0033 计算每个term出现在哪些文档和相应的出现频度(即DF和TF)。
#0036~#0037在reader是SegmentReader类型的情况下有效。
#0040~#0061可以快速的读取某篇文档中出现的term和相应的频度。但是这部分需要在建索引时，设置storeTermVector为true。比如
doc.Add(Field.Text(“contents”, reader, true));
其中的第三项即是。默认为false。

有了这些数据，就可以统计我需要的数据了。以后我会介绍如何建立索引，如何应用Lucene。

Microsoft Word文档中搜索替换时常用的特殊符号

via Pure Pleasure – Reborn by 李笑来 on 2/16/09

经常需要大量处理文本的读者，花一点时间学学MS Word中的“搜索替换通配符”是非常值得的。我经常看到身边的人因不懂这些基本“常识”而浪费大量时间，更有甚者，可能因为不懂这些而人为导致一些任务变成“不可完成、不可想象”的任务。

有些人（比如我）读写文档的时候，习惯于两个段落之间空一整行，因为这样可以方便阅读或者审阅。而遇到另外一些人编辑过的Word文档，其中的段落与段落紧挨着，由于习惯便觉得特别难以阅读，怎么办？只需要用CTRL+H呼出“查找和替换”对话框，搜索“^p”替换“^p^p”即可：

其中“^p”（不含引号）代表“段落标记”。

类似的特殊符号还有：

• “^l”代表“手动换行符”；
• “^m”代表“手动分页符”；
• “^s”代表“不间断空格”；
• “^+”代表“长划线”；
• “^=”代表“短划线”；
• “^~”代表“不间断连字符”；
• “^-”代表“可选连字符”；

如果你想把文章中所有的“全角空格”全部替换为“半角空格”，那么就要搜索“^u8195”替换“ ”：

如果你想把所有加重字体的文本全都换个颜色（比如蓝颜色），那么：

1. CTRL+H呼出“查找和替换”对话框；
2. 用鼠标在“查找内容（N）：”右边的输入框里点一下，而后按键盘“CTRL+b”；
3. 用鼠标在“替换为（I）：”右边的输入框里点一下，而后按键盘“CTRL+b”；
4. 点击“更多（M）”按钮；
5. 点击“格式（O）”按钮，选择“字体”，呼出“替换字体”对话框；在“字体颜色（C）”下的下拉框中选择蓝色之后按“确定”按钮关掉对话框；
6. 点击“查找和替换”对话框中的“替换（R）”或者“全部替换（A）”按钮……

参照以下两张图片：

读者需要需要举一反三的话，那么就在MS Word的帮助文件里搜索“查找和替换”，读一读帮助文档就好。

Things you can do from here:

• Subscribe to Pure Pleasure – Reborn using Google Reader
• Get started using Google Reader to easily keep up with all your favorite sites

如何识别Compendex 数据库中的核心和非核心数据

Ei Compendex数据库从2009年1月起，所收录的中国期刊数据不再分核心数据和非核心数据。检索2009年之前的数据，可参考以下的核心数据和非核心数据的区别：

1． Compendex 数据库中的核心数据：数据的内容全面，主要包括：论文标题（Title）；作者（Authors）；第一作者单位（First author affiliation）；英文文摘（Abstract）；论文所在期刊名称（Serial title）；卷（Volume）期（Issue）；论文页码（Pages）；分类码（Ei classification codes）；主题词（Ei main heading）；受控词（Ei controlled terms）；自由词（Uncontrolled terms） 等等。其中：分类码（Ei classification codes）；主题词（Ei main heading）；受控词（Ei controlled terms）；自由词（Uncontrolled terms）需要专业人员单独给出。2． Compendex 数据库中的非核心数据：数据内容主要包括：论文标题（Title）；作者（Authors）；论文所在期刊名称（Serial title）；卷（Volume）期（Issue）；论文页码（Pages）；部分数据带有英文文摘和第一作者单位（First author affiliation）。不需要任何专业人员再做工作。Compendex 数据库中的核心和非核心数据的主要区别在于：数据中是否有分类码（Ei classification codes）和主题词（Ei main heading）；有这两项内容的数据是核心数据，反之是非核心数据。

http://www.ei.org.cn/twice/roll_content_4.htm

读完一篇论文必须了解哪些关键内容呢？我觉得应该包括以下方面：

1). 作者为什么要做这项工作？ Motivation

2). 要解决的是一个什么问题？作者在解决问题时遇到了怎样的困难？ Problem and Challenge 

3). 为了解决他的困难他提出了什么样的解决办法？ Method

4). 试验结果是否可能真的证明他的方法好，数据是否充分，有没有和别人的工作，别的方法进行对比？ Result , comparison and analysis

5). 你认为他的方法是 否新颖，你从中学到了什么？ Innovation?

6). 该方法有哪些不足，你是否立即有了新的改进方案？ Any improvement?

如果有立即记录下来。带着上述问题，抓住要点，做好记录，一篇长文就会像庖丁 解牛一样轰然倒下。

反过来，我们在review别人论文时，可以从这些方面条毛病，当然这需要我们根据论文实际情况有所偏重。

梯度与方向导数

在内调问题上，平时要多吃一些帮助抗氧化的时候，比如含有维它命A、维它命C和维它命E的食物。飞扬经常会将A、C、E讲一起说。因为它们真的是超强的抗氧化组合！从各种蔬菜和水果中尤其是水果，都可以摄取到丰富的维它命C，因为它是水溶性的；

那A和E都是脂溶性的，尤其是维它命A，在各种黄颜色的蔬菜中啊都含有，建议用油炒来吃。尤其胡萝卜，但是我发现很多朋友都不喜欢吃它的。但其实胡萝卜含有丰富的胡萝卜素，也叫贝塔胡萝卜素，只有用油炒来吃，才能真正释放胡萝卜素，否则生吃吃的只是胡萝卜前质哦！

胡萝卜素不仅可以帮助细化我们的皮肤，保湿啊，充盈水份，更可以帮助“天然控油”。平衡水油分泌，以及使我们的眼睛变得明亮。

大家都知道，面部皮肤有汗腺和皮脂腺两种，眼部周围的皮肤，只有汗腺，皮脂腺很少，这也是为什么眼部皮肤会比面部其它皮肤先变老的一个原因。那么多补充了维它命A，我们的水油会平衡，而且可以起到紧致皮肤的效果呢~

再来说说维它命E吧，它又叫生育醇，有非常多的用途，针对于电脑皮肤的人士来讲，时常吃一些天然维它命E的东西，比如动物内脏啊，各种豆类等等，对帮助保护我们的细胞壁非常有效果哦。从而加强皮肤抗氧化。

平时注意多饮水每天最好是2500亳升，打个比方，1瓶矿泉水的量是550ML，大约要喝4瓶左右。保持每天1000亳升的排尿量。多吃蔬菜和水果这些弱碱性的食物，保持身体弱碱性状态，少吃酸性食物，这样皮肤就会慢慢改善过来。

对于普通人来说，最常见的还是视疲劳，觉得眼睛酸涩就要滴眼药水来缓解，但是这也要分原因，滴眼药水并不是万能的。

1．如果是近视眼，但是不戴眼镜，这样的情况疲劳发作比较频繁。可以用一些眼药水，但是从医生的角度来讲价值不大。主要是因为眼睛里面的肌肉痉挛导致眼睛的酸胀感和不舒服感，这时候最好让眼睛休息或者戴合适度数的眼镜看东西，让眼睛舒服一些，避免眼睛疲劳的症状。眼睛有屈光的情况，还是要注意眼睛的保健、休息并佩戴正确的眼镜，来减轻眼部不适的症状。

2．长时间处于荧光屏前，一方面有辐射的影响，另一方面由于眼睛盯着荧光屏，眨眼的次数减少，再加上大部分在电脑屏幕前工作的人都是处于空调房里，造成眼睛干涩，引起终端综合征。此时可以适当用一些湿润眼部的眼药水，可以在医院里开人工泪液，还有一些非处方性药水。人工泪液的好处在于它在眼睛表面存留的时间长，能够2至4个小时保持眼表湿润。而保健品类的眼药水滴到眼睛里5分钟左右就会流失。但是它里面的一些维生素成分也能适当缓解睫状肌痉挛导致的眼部不适的状况。因人而异，如果滴药后仍不舒服最好还是找医生诊治。

3．有些人眼部不舒服、干涩是因为眼睛本身有毛病。除了屈光之外，还有隐性的斜视，特别是隐性的外斜视。这样的病人看东西比正常人容易累，如果有斜视点眼药是不能解决问题的，建议去医院进行检查。慢性结膜炎是一些非致病性的细菌在眼部的繁殖等导致眼部的炎症反应。这类人要注意用眼卫生，养成用眼良好习惯。

脂肪：牛奶一般3.1%，豆浆0.4%
蛋白：牛奶2.9% ，豆浆2.7%
乳糖：牛奶4.5 ，豆浆2.4%
以上是主要成分，从这你可以看出，牛奶的干物质含量比豆浆的多，脂肪含量也多，气矿物质和维生素其实差不多，不太好说。

下
面介绍一下豆浆的功效：
常食豆浆补血益气
，现代人经常因为紧张的工作或营养结构失衡而忽视了自身的保健，导致食欲不振、体质下降、贫血。特别是缺铁性贫血，已成为危害人们健康的大敌。青少年在这
方面尤为明显。据全国营养调查结果显示：7岁以上的少年儿童，缺铁性贫血患病率高达10%至20%。人们在千方百计寻找补铁方法的时候发现：在我们传统的
饮品豆浆中就富含铁、锌、钙等多种矿物质，特别是铁的含量，是牛奶的2倍。
豆浆性平味甘，能全面地均衡人体营养结构，补充人体所缺的铁，在滋养的同时，消除缺铁性贫血的隐患，为人体新陈代谢创造良好的环境，有效克制缺铁性贫血病症的发生，从而增强机体免疫力，使人精气旺盛，尽情享受轻松生活。
常食优质豆浆，既能增进营养，又能调理人体气血，起到保健作用。

牛奶呢,好处也很多，根据国内外营养专家多年研究证实，牛奶是我们身边“最接近完善的食品”,每天喝牛奶对人体至少有12个好处：

1、牛奶中的钾可使动脉血管在高压时保持稳定，减少中风风险。

2、 牛奶可住阻止人体吸收食物中有毒的金属铅和镉。

3、牛奶中酉含氨酸能促进血清素大量增长。

4、牛奶中的铁铜和卵磷脂能大大提高大脑的工作效率。

5、牛奶中的钙能增加骨骼和牙齿，减少骨骼萎缩病的发生。

6、牛奶中的镁能使心脏耐疲劳。

7、牛奶中的锌能使伤口更快愈合。

8、牛奶中的维生素B能提高视力。

9、常喝牛奶能预防动脉硬化。 　　

10、牛奶含钙量高，吸收好。 　　

11、睡前喝牛奶能帮助睡眠。 　　

12、牛奶中的纯蛋白含量高，常喝牛奶可美容。

ppt下载：怎样做研究

原文地址：http://blog.sina.com.cn/s/blog_4cbec5e9010007pm.html

http://ourworld.compuserve.com/homepages/jsuebersax/faq.htm

http://en.wikipedia.org/wiki/Latent_class_model

http://en.wikipedia.org/wiki/Latent_variable_model