Information Retrieval Blog » Uncategorized http://blog.zye.me REAL TIME DATA PROCESSING, DISTRIBUTED COMPUTING, PATTERN DISCOVERY Tue, 31 Jan 2012 02:05:19 +0000 en hourly 1 http://wordpress.org/?v=3.3.1 Linux commands http://blog.zye.me/2011/12/55818.html http://blog.zye.me/2011/12/55818.html#comments Wed, 07 Dec 2011 05:30:39 +0000 yezheng http://blog.zye.me/?p=55818 [...]]]> Command Description • apropos whatis Show commands pertinent to string. See also threadsafe • man -t man | ps2pdf – > man.pdf make a pdf of a manual page which command Show full path name of command time command See how long a command takes • time cat Start stopwatch. Ctrl-d to stop. See also sw dir navigation • cd - Go to previous directory • cd Go to $HOME directory (cd dir && command) Go to dir, execute command and return to current dir • pushd . Put current dir on stack so you can popd back to it file searching • alias l=’ls -l –color=auto’ quick dir listing • ls -lrt List files by date. See also newest and find_mm_yyyy • ls /usr/bin | pr -T9 -W$COLUMNS Print in 9 columns to width of terminal find -name ‘*.[ch]‘ | xargs grep -E ‘expr’ Search ‘expr’ in this dir and below. See also findrepo find -type f -print0 | xargs -r0 grep -F ‘example’ Search all regular files for ‘example’ in this dir and below find -maxdepth 1 -type f | xargs grep -F ‘example’ Search all regular files for ‘example’ in this dir find -maxdepth 1 -type d | while read dir; do echo $dir; echo cmd2; done Process each item with multiple commands (in while loop) • find -type f ! -perm -444 Find files not readable by all (useful for web site) • find -type d ! -perm -111 Find dirs not accessible by all (useful for web site) • locate -r ‘file[^/]*.txt’ Search cached index for names. This re is like glob *file*.txt • look reference Quickly search (sorted) dictionary for prefix • grep –color reference /usr/share/dict/words Highlight occurances of regular expression in dictionary archives and compression gpg -c file Encrypt file gpg file.gpg Decrypt file tar -c dir/ | bzip2 > dir.tar.bz2 Make compressed archive of dir/ bzip2 -dc dir.tar.bz2 | tar -x Extract archive (use gzip instead of bzip2 for tar.gz files) tar -c dir/ | gzip | gpg -c | ssh user@remote ‘dd of=dir.tar.gz.gpg’ Make encrypted archive of dir/ on remote machine find dir/ -name ‘*.txt’ | tar -c –files-from=- | bzip2 > dir_txt.tar.bz2 Make archive of subset of dir/ and below find dir/ -name ‘*.txt’ | xargs cp -a –target-directory=dir_txt/ –parents Make copy of subset of dir/ and below ( tar -c /dir/to/copy ) | ( cd /where/to/ && tar -x -p ) Copy (with permissions) copy/ dir to /where/to/ dir ( cd /dir/to/copy && tar -c . ) | ( cd /where/to/ && tar -x -p ) Copy (with permissions) contents of copy/ dir to /where/to/ ( tar -c /dir/to/copy ) | ssh -C user@remote ‘cd /where/to/ && tar -x -p’ Copy (with permissions) copy/ dir to remote:/where/to/ dir dd bs=1M if=/dev/sda | gzip | ssh user@remote ‘dd of=sda.gz’ Backup harddisk to remote machine rsync (Network efficient file copier: Use the –dry-run option for testing) rsync -P rsync://rsync.server.com/path/to/file file Only get diffs. Do multiple times for troublesome downloads rsync –bwlimit=1000 fromfile tofile Locally copy with rate limit. It’s like nice for I/O rsync -az -e ssh –delete ~/public_html/ remote.com:’~/public_html’ Mirror web site (using compression and encryption) rsync -auz -e ssh remote:/dir/ . && rsync -auz -e ssh . remote:/dir/ Synchronize current directory with remote one ssh (Secure SHell) ssh $USER@$HOST command Run command on $HOST as $USER (default command=shell) • ssh -f -Y $USER@$HOSTNAME xeyes Run GUI command on $HOSTNAME as $USER scp -p -r $USER@$HOST: file dir/ Copy with permissions to $USER’s home directory on $HOST ssh -g -L 8080:localhost:80 root@$HOST Forward connections to $HOSTNAME:8080 out to $HOST:80 ssh -R 1434:imap:143 root@$HOST Forward connections from $HOST:1434 in to imap:143 ssh-copy-id $USER@$HOST Install $USER’s public key on $HOST for password-less log in wget (multi purpose download tool) • (cd dir/ && wget -nd -pHEKk http://www.pixelbeat.org/cmdline.html) Store local browsable version of a page to the current dir wget -c http://www.example.com/large.file Continue downloading a partially downloaded file wget -r -nd -np -l1 -A ‘*.jpg’ http://www.example.com/dir/ Download a set of files to the current directory wget ftp://remote/file[1-9].iso/ FTP supports globbing directly • wget -q -O- http://www.pixelbeat.org/timeline.html | grep ‘a href’ | head Process output directly echo ‘wget url’ | at 01:00 Download url at 1AM to current dir wget –limit-rate=20k url Do a low priority download (limit to 20KB/s in this case) wget -nv –spider –force-html -i bookmarks.html Check links in a file wget –mirror http://www.example.com/ Efficiently update a local copy of a site (handy from cron) networking (Note ifconfig, route, mii-tool, nslookup commands are obsolete) ethtool eth0 Show status of ethernet interface eth0 ethtool –change eth0 autoneg off speed 100 duplex full Manually set ethernet interface speed iwconfig eth1 Show status of wireless interface eth1 iwconfig eth1 rate 1Mb/s fixed Manually set wireless interface speed • iwlist scan List wireless networks in range • ip link show List network interfaces ip link set dev eth0 name wan Rename interface eth0 to wan ip link set dev eth0 up Bring interface eth0 up (or down) • ip addr show List addresses for interfaces ip addr add 1.2.3.4/24 brd + dev eth0 Add (or del) ip and mask (255.255.255.0) • ip route show List routing table ip route add default via 1.2.3.254 Set default gateway to 1.2.3.254 • host pixelbeat.org Lookup DNS ip address for name or vice versa • hostname -i Lookup local ip address (equivalent to host `hostname`) • whois pixelbeat.org Lookup whois info for hostname or ip address • netstat -tupl List internet services on a system • netstat -tup List active connections to/from system windows networking (Note samba is the package that provides all this windows specific networking support) • smbtree Find windows machines. See also findsmb nmblookup -A 1.2.3.4 Find the windows (netbios) name associated with ip address smbclient -L windows_box List shares on windows machine or samba server mount -t smbfs -o fmask=666,guest //windows_box/share /mnt/share Mount a windows share echo ‘message’ | smbclient -M windows_box Send popup to windows machine (off by default in XP sp2) text manipulation (Note sed uses stdin and stdout. Newer versions support inplace editing with the -i option) sed ‘s/string1/string2/g’ Replace string1 with string2 sed ‘s/(.*)1/12/g’ Modify anystring1 to anystring2 sed ‘/ *#/d; /^ *$/d’ Remove comments and blank lines sed ‘:a; /\$/N; s/\n//; ta’ Concatenate lines with trailing sed ‘s/[ t]*$//’ Remove trailing spaces from lines sed ‘s/([`"$])/\1/g’ Escape shell metacharacters active within double quotes • seq 10 | sed “s/^/      /; s/ *(.{7,})/1/” Right align numbers sed -n ’1000{p;q}’ Print 1000th line sed -n ’10,20p;20q‘ Print lines 10 to 20 sed -n ‘s/.*<title>(.*)</title>.*/1/ip;T;q‘ Extract title from HTML web page sed -i 42d ~/.ssh/known_hosts Delete a particular line sort -t. -k1,1n -k2,2n -k3,3n -k4,4n Sort IPV4 ip addresses • echo ‘Test’ | tr ‘[:lower:]‘ ‘[:upper:]‘ Case conversion • tr -dc ‘[:print:]‘ < /dev/urandom Filter non printable characters • tr -s ‘[:blank:]‘ ‘t’ </proc/diskstats | cut -f4 cut fields separated by blanks • history | wc -l Count lines set operations (Note you can export LANG=C for speed. Also these assume no duplicate lines within a file) sort file1 file2 | uniq Union of unsorted files sort file1 file2 | uniq -d Intersection of unsorted files sort file1 file1 file2 | uniq -u Difference of unsorted files sort file1 file2 | uniq -u Symmetric Difference of unsorted files join -t’�’ -a1 -a2 file1 file2 Union of sorted files join -t’�’ file1 file2 Intersection of sorted files join -t’�’ -v2 file1 file2 Difference of sorted files join -t’�’ -v1 -v2 file1 file2 Symmetric Difference of sorted files math • echo ‘(1 + sqrt(5))/2′ | bc -l Quick math (Calculate φ). See also bc • echo ‘pad=20; min=64; (100*10^6)/((pad+min)*8)’ | bc More complex (int) e.g. This shows max FastE packet rate • echo ‘pad=20; min=64; print (100E6)/((pad+min)*8)’ | python Python handles scientific notation • echo ‘pad=20; plot [64:1518] (100*10**6)/((pad+x)*8)’ | gnuplot -persist Plot FastE packet rate vs packet size • echo ‘obase=16; ibase=10; 64206′ | bc Base conversion (decimal to hexadecimal) • echo $((0x2dec)) Base conversion (hex to dec) ((shell arithmetic expansion)) • units -t ’100m/9.58s‘ ‘miles/hour’ Unit conversion (metric to imperial) • units -t ’500GB’ ‘GiB’ Unit conversion (SI to IEC prefixes) • units -t ’1 googol’ Definition lookup • seq 100 | (tr ‘n’ +; echo 0) | bc Add a column of numbers. See also add and funcpy calendar • cal -3 Display a calendar • cal 9 1752 Display a calendar for a particular month year • date -d fri What date is it this friday. See also day • [ $(date -d "tomorrow" +%d) = "01" ] || exit exit a script unless it’s the last day of the month • date –date=’25 Dec’ +%A What day does xmas fall on, this year • date –date=’@2147483647′ Convert seconds since the epoch (1970-01-01 UTC) to date • TZ=’America/Los_Angeles’ date What time is it on west coast of US (use tzselect to find TZ) • date –date=’TZ=”America/Los_Angeles” 09:00 next Fri’ What’s the local time for 9AM next Friday on west coast US locales • printf “%’dn” 1234 Print number with thousands grouping appropriate to locale • BLOCK_SIZE=’1 ls -l Use locale thousands grouping in ls. See also l • echo “I live in `locale territory`” Extract info from locale database • LANG=en_IE.utf8 locale int_prefix Lookup locale info for specific country. See also ccodes • locale | cut -d= -f1 | xargs locale -kc | less List fields available in locale database recode (Obsoletes iconv, dos2unix, unix2dos) • recode -l | less Show available conversions (aliases on each line) recode windows-1252.. file_to_change.txt Windows “ansi” to local charset (auto does CRLF conversion) recode utf-8/CRLF.. file_to_change.txt Windows utf8 to local charset recode iso-8859-15..utf8 file_to_change.txt Latin9 (western europe) to utf8 recode ../b64 < file.txt > file.b64 Base64 encode recode /qp.. < file.qp > file.txt Quoted printable decode recode ..HTML < file.txt > file.html Text to HTML • recode -lf windows-1252 | grep euro Lookup table of characters • echo -n 0×80 | recode latin-9/x1..dump Show what a code represents in latin-9 charmap • echo -n 0x20AC | recode ucs-2/x2..latin-9/x Show latin-9 encoding • echo -n 0x20AC | recode ucs-2/x2..utf-8/x Show utf-8 encoding CDs gzip < /dev/cdrom > cdrom.iso.gz Save copy of data cdrom mkisofs -V LABEL -r dir | gzip > cdrom.iso.gz Create cdrom image from contents of dir mount -o loop cdrom.iso /mnt/dir Mount the cdrom image at /mnt/dir (read only) cdrecord -v dev=/dev/cdrom blank=fast Clear a CDRW gzip -dc cdrom.iso.gz | cdrecord -v dev=/dev/cdrom - Burn cdrom image (use dev=ATAPI -scanbus to confirm dev) cdparanoia -B Rip audio tracks from CD to wav files in current dir cdrecord -v dev=/dev/cdrom -audio -pad *.wav Make audio CD from all wavs in current dir (see also cdrdao) oggenc –tracknum=’track’ track.cdda.wav -o ‘track.ogg’ Make ogg file from wav file disk space (See also FSlint) • ls -lSr Show files by size, biggest last • du -s * | sort -k1,1rn | head Show top disk users in current dir. See also dutop • du -hs /home/* | sort -k1,1h Sort paths by easy to interpret disk usage • df -h Show free space on mounted filesystems • df -i Show free inodes on mounted filesystems • fdisk -l Show disks partitions sizes and types (run as root) • rpm -q -a –qf ‘%10{SIZE}t%{NAME}n’ | sort -k1,1n List all packages by installed size (Bytes) on rpm distros • dpkg-query -W -f=’${Installed-Size;10}t${Package}n’ | sort -k1,1n List all packages by installed size (KBytes) on deb distros • dd bs=1 seek=2TB if=/dev/null of=ext3.test Create a large test file (taking no space). See also truncate • > file truncate data of file or create an empty file monitoring/debugging • tail -f /var/log/messages Monitor messages in a log file • strace -c ls >/dev/null Summarise/profile system calls made by command • strace -f -e open ls >/dev/null List system calls made by command • ltrace -f -e getenv ls >/dev/null List library calls made by command • lsof -p $ List paths that process id has open • lsof ~ List processes that have specified path open • tcpdump not port 22 Show network traffic except ssh. See also tcpdump_not_me • ps -e -o pid,args –forest List processes in a hierarchy • ps -e -o pcpu,cpu,nice,state,cputime,args –sort pcpu | sed ‘/^ 0.0 /d’ List processes by % cpu usage • ps -e -orss=,args= | sort -b -k1,1n | pr -TW$COLUMNS List processes by mem (KB) usage. See also ps_mem.py • ps -C firefox-bin -L -o pid,tid,pcpu,state List all threads for a particular process • ps -p 1,$ -o etime= List elapsed wall time for particular process IDs • last reboot Show system reboot history • free -m Show amount of (remaining) RAM (-m displays in MB) • watch -n.1 ‘cat /proc/interrupts’ Watch changeable data continuously • udevadm monitor Monitor udev events to help configure rules system information (see also sysinfo) (‘#’ means root access is required) • uname -a Show kernel version and system architecture • head -n1 /etc/issue Show name and version of distribution • cat /proc/partitions Show all partitions registered on the system • grep MemTotal /proc/meminfo Show RAM total seen by the system • grep “model name” /proc/cpuinfo Show CPU(s) info • lspci -tv Show PCI info • lsusb -tv Show USB info • mount | column -t List mounted filesystems on the system (and align output) • grep -F capacity: /proc/acpi/battery/BAT0/info Show state of cells in laptop battery # dmidecode -q | less Display SMBIOS/DMI information # smartctl -A /dev/sda | grep Power_On_Hours How long has this disk (system) been powered on in total # hdparm -i /dev/sda Show info about disk sda # hdparm -tT /dev/sda Do a read speed test on disk sda # badblocks -s /dev/sda Test for unreadable blocks on disk sda interactive (see also linux keyboard shortcuts) • readline Line editor used by bash, python, bc, gnuplot, … • screen Virtual terminals with detach capability, … • mc Powerful file manager that can browse rpm, tar, ftp, ssh, … • gnuplot Interactive/scriptable graphing • links Web browser • xdg-open . open a file or url with the registered desktop application ]]> http://blog.zye.me/2011/12/55818.html/feed 0 SIGIR PAPER LIST 2005,2006,2007 http://blog.zye.me/2011/08/22765.html http://blog.zye.me/2011/08/22765.html#comments Sat, 06 Aug 2011 02:29:28 +0000 yezheng http://www.5yiso.cn/2008/03/22765.html [...]]]> The 30th Annual International ACM SIGIR Conference
23-27 July 2007, Amsterdam

Accepted Papers

Hierarchical Classification for Automatic Image Annotation
Jianping Fan

Alternatives to Bpref
Tetsuya Sakai

Laplacian Optimal Design for Image Retrieval
Xiaofei He, Deng Cai

Federated Text Retrieval From Uncooperative Overlapped Collections
Milad Shokouhi, Justin Zobel

A New Approach for Evaluating Query Expansion: Query-document Term Mismatch
Tonya Custis, Khalid Al-Kofahi

Fast Generation of Result Snippets in Web Search
Andrew Turpin, Yohannes Tsegay, David Hawking, Hugh E. Williams

Updating Collection Representations For Federated Search
Milad Shokouhi, Mark Baillie, Leif Azzopardi

HITS hits TREC: Exploring IR evaluation results with network analysis
Stefano Mizzaro, Stephen Robertson

Latent Concept Expansion Using Markov Random Fields
Donald Metzler, Bruce Croft

Query Performance Prediction in Web Search Environments
Yun Zhou, Bruce Croft

Indexing Confusion Networks for Morph-based Spoken Document Retrieval
Ville Turunen, Mikko Kurimo

Reliable Information Retrieval Evaluation with Incomplete and Biased Judgements
Stefan Buettcher, Charles Clarke, Peter Yeung, Ian Soboroff

New Event Detection Based on Indexing-tree and Named Entity
Kuo ZHANG, JuanZi LI, Gang WU

A Time Machine for Text Search
Klaus Berberich, Srikanta Bedathur, Thomas Neumann, Gerhard Weikum

Compressed Permuterm Index
Paolo Ferragina, Rossano Venturini

Detecting, Categorizing and Clustering Entity Mentions in Chinese Text
Wenjie Li, Donglei Qian, Chunfa Yuan, Qin Lu

FRank: A Ranking Method with Fidelity Loss
Ming-Feng Tsai, Tie-Yan Liu, Tao Qin, Hsin-Hsi Chen, Wei-Ying Ma

A Regression Framework for Learning Ranking Functions Using Relative Relevance Judgments
Zhaohui Zheng, Hongyuan Zha, Keke Chen, Gordon Sun

History Repeats Itself: Re-Finding Queries in a Major Search Engine’s Logs
Jaime Teevan, Eytan Adar, Rosie Jones, Michael Potts

Random Walks on the Click Graph
Nick Craswell, Martin Szummer

Towards Automatic Extraction of Event and Place Semantics from Flickr Tags
Tye Rattenbury, Nathaniel Good, Mor Naaman

Clustering of Documents with Local and Global Regularization
Fei Wang, Changshui Zhang, Tao Li

An InterActive Algorithm For Asking And Incorporating Feature Feedback into Support Vector Machines
Hema Raghavan, James Allan

Efficient Document Retrieval in Main Memory
Trevor Strohman, Bruce Croft

A Boosting Algorithm for Information Retrieval
Jun Xu, Hang Li

How well does result relevance predict session satisfaction?
Scott Huffman, Michael Hochster

A Support Vector Method for Optimizing Average Precision
Yisong Yue, Thomas Finley, Filip Radlinski, Thorsten Joachims

Strategic System Comparisons via Targeted Relevance Judgments
Alistair Moffat, William Webber, Justin Zobel

Topic Segmentation with Shared Topic Detection and Alignment of Multiple Documents
Sun Bingjun, Prasenjit Mitra, Lee Giles, Hongyuan Zha, John Yen

HITS on the Web: How does it Compare?
Marc Najork, Hugo Zaragoza, Michael Taylor

Effective Missing Data Prediction for Collaborative Filtering
Hao Ma, Irwin King, Michael R. Lyu

Feature Selection for Ranking
Xiubo Geng, Tie-Yan Liu, Tao Qin

Interesting Nuggets and Their Impact on Definitional Question Answering
Kian-Wei Kor, Tat Seng Chua

Ranking with Multiple Hyperplanes
Tao Qin, Tie-Yan Liu, Wei Lai, Xu-Dong Zhang, De-Sheng Wang, Hang Li

Building Simulated Queries for Known-Item Topics: An Analysis using Six European Languages
Leif Azzopardi, Maarten de Rijke, Krisztian Balog

CollabSum: Exploiting Multiple Document Clustering for Collaborative Single Document Summarizations
Xiaojun Wan

The Influence of Caption Features on Clickthrough Patterns in Web Search
Charles Clarke, Eugene Agichtein, Susan Dumais, Ryen White

Personalized Query Expansion for the Web
Paul – Alexandru Chirita, Claudiu Firan, Wolfgang Nejdl

Principles of Hash-based Text Retrieval
Benno Stein

An Outranking Approach for Rank Aggregation in Information Retrieval
Mohamed Farah, Daniel Vanderpooten

Deconstructing Nuggets: The Stability and Reliability of Complex Question Answering Evaluation
Jimmy Lin, Pengyi Zhang

DiffusionRank: A Possible Penicillin for Web Spamming
Haixuan Yang, Irwin King, Michael R. Lyu

Investigating the Querying and Browsing Behavior of Advanced Search Engine Users
Ryen White, Dan Morris

Neighborhood Restrictions in Geographic IR
Steven Schockaert, Martine De Cock

A Probabilistic Graphical Model for Joint Answer Ranking in Question Answering
Jeongwoo Ko, Luo Si, Eric Nyberg

Towards Task-based PIM Evaluations
David Elsweiler, Ian Ruthven

Utility-based Information Distillation Over Temporally Sequenced Documents
Yiming Yang, Abhimanyu Lad, Ni Lao, Abhay Harpale, Bryan Kisiel, Monica Rogati, Jian Zhang, Jaime Carbonell, Peter Brusilovsky, Daqing He

A Semantic Approach to Contextual Advertising
Vanja Josifovski, Andrei Broder, Lance Riedel, Marcus Fontoura

Test Theory for Assessing IR Test Collections
David Bodoff, Pu Li

Vocabulary Independent Spoken Term Detection
Jonathan Mamou, Bhuvana Ramabhadran, Olivier Siohan

ESTER: Efficient Search on Text, Entities, and Relations
Holger Bast, Alexandru Chitea, Fabian Suchanek, Ingmar Weber

A Combined Component Approach for Finding Collection-Adapted Ranking Functions based on Genetic Prog
Humberto Almeida, Marcos Goncalves, Marco Cristo, Pavel Calado

Supporting Multiple Information Seeking Strategies in a Single System Framework
Xiaojun Yuan, Nicholas Belkin

Context Sensitive Stemming for Web Search
Fuchun Peng, Nawaaz Ahmed, Xin Li, Yumao Lu

Know your Neighbors: Web Spam Detection using the Web Topology
Carlos Castillo, Debora Donato, Aristides Gionis, Vanessa Murdock, Fabrizio Silvestri

Combining Content and Link for Classification using Matrix Factorization
Shenghuo Zhu, Kai Yu, Yun Chi, Yihong Gong

Evaluating sampling methods for uncooperative collections
Paul Thomas, David Hawking

An Exploration of Proximity Measures in Information Retrieval
Tao Tao, ChengXiang Zhai

Relaxed Online Support Vector Machines for Spam Filtering
D. Sculley, Gabriel Wachman (best student paper)

Robust Classification of Rare Queries Using Web Knowledge
Andrei Broder, Marcus Fontoura, Evgeniy Gabrilovich, Amruta Joshi, Vanja Josifovski, Tong Zhang

Multiple-signal duplicate detection for search evaluation
Scott Huffman, April Lehman, Alexei Stolboushkin, Howard Wong-Toi, Fan Yang, Hein Roehrig

Structured Retrieval for Question Answering
Matthew Bilotti, Paul Ogilvie, Jamie Callan, Eric Nyberg

Robust Evaluation of Information Retrieval Systems
Ben Carterette

On the Robustness of Relevance Measures with Incomplete Judgments
Tanuja Bompada, Chi-Chao Chang, John Chen, Ravi Kumar, Rajesh Shenoy

Cross-Lingual Query Suggestion Using Query Logs of Different Languages
Wei Gao, Cheng Niu, Jian-Yun Nie, Ming Zhou, Jian Hu, Kam-Fai Wong, Hsiao-Wuen Hon

Efficient Bayesian Hierarchical User Modeling for Recommendation Systems
Yi Zhang, Jonathan Koren

Studying the Use of Popular Destinations to Enhance Web Search Interaction
Ryen White, Mikhail Bilenko, Silviu Cucerzan (best paper)

Knowledge-intensive Conceptual Retrieval and Passage Extraction of Biomedical Literature
Wei Zhou, Clement Yu, Neil Smalheiser, Vetle Torvik, Jie Hong

The Impact of Caching on Search Engines
Ricardo Baeza-Yates, Aristides Gionis, Flavio Junqueira, Vanessa Murdock, Vassilis Plachouras, Fabrizio Silvestri

Heavy-Tailed Distributions and Multi-Keyword Queries
Arnd Konig, Surajit Chaudhuri, Liying Sui, Kenneth Church

Improving Text Classification for Oral History Archives with Temporal Domain Knowledge
James Olsson, Douglas Oard

Estimation and Use of Uncertainty in Pseudo-relevance Feedback
Kevyn Collins-Thompson, Jamie Callan

Term Feedback for Information Retrieval with Language Models
Bin Tan, Atulya Velivelli, Hui Fang, ChengXiang Zhai

Enhancing Relevance Scoring With Chronological Term Rank
Adam Troy, Guo-Qiang Zhang

Inverted Index Pruning with Correctness Guarantee
Alexandros Ntoulas, Junghoo-John Cho

A Study of Poisson Query Generation Model for Information Retrieval
Qiaozhu Mei, Hui Fang, ChengXiang Zhai

ARSA: A Sentiment-Aware Model for Predicting Sales Performance Using Blogs
Yang Liu, Jimmy Huang, Aijun An, Xiaohui Yu

A Music Search Engine Built upon Audio-based and Web-based Similarity Measures
Peter Knees, Tim Pohle, Markus Schedl, Gerhard Widmer

Learn from Web Search Logs to Organize Search Results
Xuanhui Wang, ChengXiang Zhai

Using Query Contexts in Information Retrieval
Jing Bai, Jian-Yun Nie, Hugue Bouchard, Guihong Cao

Measuring the Spatial Correlation of Retrieval Functions for Zero- Judgment Performance Prediction
Fernando Diaz

Towards Musical Query-by-Semantic-Description using the CAL500 Data Set
Douglas Turnbull, Luke Barrington, David Torres, Gert Lanckriet

Web Text Retrieval with a P2P Query-Driven Index
Gleb Skobeltsyn, Toan Luu, Ivana Podnar, Martin Rajman, Karl Aberer

Analyzing Feature Trajectories for Event Detection
Qi He, Kuiyu Chang, Ee-Peng Lim

Broad Expertise Retrieval in Sparse Data Environments
Krisztian Balog, Maarten de Rijke, Leif Azzopardi

]]> http://blog.zye.me/2011/08/22765.html/feed 2 自然语言理解技术及其应用探讨（转） http://blog.zye.me/2011/08/18582.html http://blog.zye.me/2011/08/18582.html#comments Thu, 04 Aug 2011 02:27:22 +0000 yezheng http://www.5yiso.cn/2008/03/18582.html [...]]]> 2005年12月12日 21:01:00

自然语言理解技术及其应用探讨随着社会的日益信息化，人们越来越强烈地希望用自然语言同计算机交流。自然语言理解是计算机科学中的一个引人入胜的、富有挑战性的课题。从计算机科学特别是从人工智能的观点看，自然语言理解的任务是建立一种计算机模型，这种计算机模型能够给出象人那样理解、分析并回答自然语言（即人们日常使用的各种通俗语言）的结果。

现在的计算机的智能还远远没有达到能够象人一样理解自然语言的水平，而且在可预见的将来也达不到这样的水平。因此，关于计算机对自然语言的理解一般是从实用的角度进行评判的。如果计算机实现了人机会话，或机器翻译，或自动文摘等语言信息处理功能，则认为计算机具备了自然语言理解的能力。

第一部分 了解自然语言理解技术
自然语言处理就是研究如何能让计算机理解并生成人们日常所使用的(如汉语、英语)语言，使得计算机懂得自然语言的含义，并对人给计算机提出的问题，通过对话的方式，用自然语言进行回答。目的在于建立起一种人与机器之间的密切而友好的关系，使之能进行高度的信息传递与认知活动。自然语言理解系统可以用作专家系统、知识工程、情报检索、办公室自动化的自然语言人机接口，有很大的实用价值。

自然语言处理研究在电子计算机问世之初就开始了，并于 50年代初开展了机器翻译试验。当时的研究方法还不能称作带有”智能”。到了60年代乔姆斯基的转换生成语法得到广泛的认可，生成语法的核心是短语结构规则，分析句子结构的过程就是利用规则自顶向下或自底向上的句法树生成过程。

由于认识到生成语法缺少表示语义知识的手段，在70年代随着认知科学的兴盛，研究者又相继提出了语义网络、CD理论、格框架等语义表示理论。这些语法和语义理论经过各自的发展，逐渐开始趋于相互结合。到80年代一批新的语法理论脱颖而出，具有代表性的有词汇功能语法(LFG)、功能合一语法(FUG)和广义短语结构语法(GPSG) 等。

这些基于规则的分析方法可以称之为自然语言处理中的”理性主义”。现有的手段虽然基本上掌握了单个句子的分析技术，但是还很难覆盖全面的语言现象，特别是对于整个段落或篇章的理解还无从下手。

与”理性主义”相对的是”经验主义”的研究思路，主要是指针对大规模语料库的研究。语料库是大量文本的集合。计算机出现后，语料可以被方便地存贮起来，利用计算机查找也很容易。随着电子出版物的出现，采集语料也不再成为困难。最早于60年代编制的Brown和LOB两个计算机语料库，分别具有100万词次的规模。进入90 年代可以轻易列举出的语料库有几十个之多，象DCI、ECI、ICAME、BNC、LDC、 CLR等，其规模最高达到109数量级。

对语料库的研究分成3个方面：工具软件的开发、语料库的标注、基于语料库的语言分析方法。采集到以后未经处理的生语料不能直接提供有关语言的各种知识，只有通过词法、句法、语义等多层次的加工才能使知识获取成为可能。加工的方式就是在语料中标注各种记号，标注的内容包括每个词的词性、语义项、短语结构、句型和句间关系等。随着标注程度的加深语料库逐渐熟化，成为一个分布的、统计意义上的知识源。利用这个知识源可以进行许多语言分析工作，如根据从已标注语料中总结出的频度规律可以给新文本逐词标注词性，划分句子成分等。

语料库提供的知识是用统计强度表示的，而不是确定性的，随着规模的扩大，旨在覆盖全面的语言现象。但是对于语言中基本的确定性的规则仍然用统计强度的大小去判断，这与人们的常识相违背。这种”经验主义”研究中的不足要靠”理性主义” 的方法来弥补。两类方法的融合也正是当前自然语言处理发展的趋势。

自然语言理解系统的发展阶段
自然语言理解系统的发展可以分为第一代系统和第二代系统两个阶段。第一代系统建立在对词类和词序分析的基础之上，分析中经常使用统计方法；第二代系统则开始引进语义甚至语用和语境的因素，几乎完全抛开了统计技术。

第一代自然语言理解系统又可分为四种类型：

（1）特殊格式系统
早期的自然语言理解系统大多数是特殊格式系统，根据人机对话内容的特点，采用特殊的格式来进行人机对话。1963年，林德赛（R.Lindsay）在美国卡内基技术学院用IPL－V表处理语言设计了SAD－SAM系统，就采用了特殊格式来进行关于亲属关系方面的人机对话，系统内建立了一个关于亲属关系的数据库，可接收关于亲属关系方面的问题的英语句子提问，用英语作出回答。1968年，波布洛（D.Bobrow）在美国麻省理工学院设计了STUDENT系统，这个系统把高中代数应用题中的英语句子归纳为一些基本模式，由计算机来理解这些应用题中的英语句子，列出方程求解，并给出答案。六十年代初期，格林（B.Green）在美国林肯实验室建立了BASEBALL系统，也使用IPL－V表处理语言，系统的数据库中存贮了关于美国1959年联邦棒球赛得分记录的数据，可回答有关棒球赛的一些问题。该系统的句法分析能力较差，输入句子十分简单，没有连接词，也没有比较级形式的形容词和副词，主要靠一部机器词典来进行单词的识别，使用了14个词类范畴，所有的问题都采用一种特殊的规范表达式回答。

（2）以文本为基础的系统
某些研究者不满意在特殊格式系统中的种种格式限制，因为就一个专门领域来说，最方便的还是使用不受特殊格式结构限制的系统来进行人机对话，这就出现了以文本为基础的系统，1966年西蒙（R.F.Simmons）、布尔格（J.F. Burger）和龙格（R.E. Long）设计的PROTOSYNTHEX－I系统，就是以文本信息的存贮和检索方式工作的。

（3）有限逻辑系统
有限逻辑系统进一步改进了以文本为基础的系统。在这种系统中，自然语言的句子以某种更加形式化的记号来替代，这些记号自成一个有限逻辑系统，可以进行某些推理。1968年，拉菲尔（B.Raphael）在美国麻省理工学院用LI SP语言建立了SIR系统，针对英语提出了24个匹配模式，把输入的英语句子与这些模式相匹配，从而识别输入句子的结构，在从存贮知识的数据库到回答问题的过程中，可以处理人们对话中常用的一些概念，如集合的包含关系、空间关系等等，并可进行简单逻辑推理，机器并能在对话中进行学习，记住已学过的知识，从事一些初步的智能活动。1965年，斯莱格勒（J.R. Slagle）建立了DEDUCOM系统，可在情报检索中进行演绎推理。1966年，桑普逊（F.B.Thompson）建立了DEACON系统，通过英语来管理一个虚构的军用数据库，设计中使用了环结构和近似英语的概念来进行推理。1968年，凯罗格（C.Kellog）在IBM360/67计算机上，建立了CONVERSE系统，该系统能根据关于美国120个城市的1000个事实的文件来进行推理。

（4）一般演绎系统
一般演绎系统使用某些标准数学符号（如谓词演算符号）来表达信息。逻辑学家们在定理证明工作上取得的全部成就，就可以用来作为建立有效的演绎系统的根据，从而能够把任何一个问题用定理证明的方式表达出来，并实际地演绎出所需要的信息，用自然语言作出回答。一般演绎系统可以表达那些在有限逻辑系统中不容易表达出来的复杂信息，从而进一步提高了自然语言理解系统的能力。1968－1969年，格林和拉菲尔建立的的QA2,QA3系统，采用谓词演算的方式和格式化的数据（formated data）来进行演绎推理，解答问题，并用英语作出回答，这是一般演绎系统的典型代表。

1970年以来，出现了一定数量的第二代自然语言理解系统，这些系统绝大多数是程序演绎系统，大量地进行语义、语境以至语用的分析。其中比较有名的系统是LUNAR 系统、SHRDLU系统、MARGIE系统、SAM系统、PAM系统。

LUNAR系统是伍兹（W.Woods）于1972年设计的一个自然语言情报检索系统。这个系统采用形式提问语言（formal query language）来表示所提问的语义，从而对提问的句子作出语义解释，最后把形式提问语言执行于数据库，产生出对问题的回答。

SHRDLU系统是维诺格拉德（T.Winograd）于1972年在美国麻省理工学院建立了一个用自然语言指挥机器人动作的系统。该系统把句法分析、语义分析、逻辑推理结合起来，大大地增强了系统在语言分析方面的功能。该系统对话的对象是一个具有简单的 “手”和”眼”的玩具机器人，它可以操作放在桌子上的具有不同颜色、尺寸和形状的玩具积木，如立方体、棱锥体、盒子等，机器人能够根据操作人员的命令把这些积木捡起来，移动它们去搭成新的积木结构，在人机对话过程中，操作人员能获得他发给机器人的各种视觉反馈，实时地观察机器人理解语言、执行命令的情况。在电视屏幕上还可以显示出这个机器人的模拟形象以及它同一个真正的活人在电传机上自由地用英语对话的生动情景。

MARGIE系统是杉克（R.Schank）于1975年在美国斯袒福人工智能实验室研制出来的。该系统的目的在于提供一个自然语言理解的直观模型。系统首先把英语句子转换为概念依存表达式，然后根据系统中有关信息进行推理，从概念依存表达式中推演出大量的事实。由于人们在理解句子时，总要牵涉到比句子的外部表达多得多的内容，因此，该系统的推理有16种类型，如原因、效应、说明、功能等等，最后，把推理的结果转换成英语输出。

SAM系统是阿贝尔森（R.Abelson）于1975年在美国耶鲁大学建立的。这个系统采用”脚本”（script）的办法来理解自然语言写的故事。所谓脚本，就是用来描述人们活动（如上饭馆、看病）的一种标准化的事件系列。

PAM系统是威林斯基（R.Wilensky）于1978年在美国耶鲁大学建立的另一个理解故事的系统。PAM系统也能解释故事情节，回答问题，进行推论，作出摘要。它除了 “脚本”中的事件序列之外，还提出了”计划”（plan）作为理解故事的基础。所谓” 计划”，就是故事中的人物为实现其目的所要采取的手段。如果要通过”计划”来理解故事，就要找出人物的目的以及为完成这个目的所采取的行动。系统中设有一个”计划库”（plan box），存贮着有关各种目的的信息以及各种手段的信息。这样，在理解故事时，只要求出故事中有关情节与计划库中存贮的信息相重合的部分，就可以理解到这个故事的目的是什么。当把一个一个的故事情节与脚本匹配出现障碍时，由于”计划库”中可提供关于一般目的的信息，就不致造成故事理解的失败。例如，营救一个被暴徒抢走的人，在”营救”这个总目的项下列若干个子目的，包括到达暴徒的巢穴以及杀死暴徒的各种方法，就可以预期下一步的行为。同时能根据主题来推论目的。例如，输入故事：”约翰爱玛丽。玛丽被暴徒抢走了。”PAM 系统即可预期约翰要采取行动营救玛丽。故事中虽然没有这样的内容， 但是， 根据计划库中的”爱情主题”，可以推出 “约翰要采取行动营救玛丽”的情节。

上述的系统都是书面的自然语言理解系统，输入输出都是用书面文字。口头的自然语言理解系统，还牵涉到语音识别、语音合成等复杂的技术，显然是更加困难的课题，口头自然语言理解系统的研究近年来也有进展。

我国的发展状况
我国自然语言理解的研究起步较晚，比国外晚了17年。国外在1963年就建成了早期的自然语言理解系统，而我国直到1980年才建成了两个汉语自然语言理解模型，都以人机对话的方式来实现。

八十年代中期，在国际新一代计算机激烈竞争的影响下，自然语言理解的研究在国内得到了更多的重视，”自然语言理解和人机接口”列入了新一代计算机的研制规划，研究单位增多了，研究队伍也壮大了。

关于HNC理论
HNC理论是”Hierarchical Network of Concepts（概念层次网络）”的简称，是关于自然语言理解处理的一个理论体系。它以概念化、层次化、网络化的语义表达为基础，所以称它为概念层次网络理论。HNC理论把人脑认知结构分为局部和全局两类联想脉络，认为对联想脉络的表达是语言深层（即语言的语义层面）的根本问题。

HNC理论的中心目标是建立自然语言的表述和处理模式，使计算机能够模拟人脑的语言感知功能。该理论使自然语言理解获得了突破性的进展，它所蕴涵的精深丰富的思想对人工智能、语言学、计算机科学和认知科学等都具有重要的理论和应用价值，对中文信息处理和汉语研究尤其具有实际意义。

HNC理论完全摆脱了我国现有的这套语法学的束缚，而从语言的深层入手，以语义表达为基础，为汉语理解开辟了一条新路。HNC理论提出了可供工程实现的完整的自然语言理解的理论框架，它是一个面向整个自然语言理解的强大而完备的语义描述体系，包括语句处理、句群处理、篇章处理、短时记忆向长时记忆扩展处理、文本自动学习处理。HNC理论的出发点就是运用两类联想脉络来”帮助”计算机理解自然语言。自然语言的词汇是用来表达概念的，因此，HNC建立的词汇层面的局部联想脉络体现为一个概念表达体系。概念分为抽象概念与具体概念。HNC理论的概念表达体系侧重于抽象概念的表达。对具体概念采取挂靠近似表达方法。HNC理论认为应该从多元性表现和内涵两个方面来描述概念。
它创立了五元组用来表达抽象概念的多元性表现，对抽象概念的内涵采用网络层次符号来表达。其网络层次符号包含三大语义网络：基元概念语义网络、基本概念语义网络和逻辑概念语义网络。HNC的五元组符号和三大语义网络的层次符号组合起来就可完成对抽象概念的完整表达，从而为计算机理解自然语言的语义提供了有力的手段。

自然语言理解技术大致可分为机器翻译、语义理解及人机会话技术几个方面。其中机器翻译(machine translation)，又称机译(MT)，是利用计算机把一种自然语言转变成另一种自然语言的过程。智能搜索引擎在这一领域的研究将使得用户可以使用母语搜索非母语的网页，并以母语浏览搜索结果。语义理解通过将语言学的研究成果和计算机技术结合在一起，实现了对词语在语义层次上的理解。人机会话技术可以为计算机提供下一代的人机交互接口，实现从文字接口、图形接口到自然语言接口的革命，同时在家用电器的人性化设计方面有着广泛的应用前景，其技术内涵主要包括语音识别、语音合成两个核心部分。

在语义理解的整个过程中，智能分词技术是最初的一个环节，它将组成语句的核心词提炼出来供语义分析模块使用。在分词的过程中，如何能够恰当地提供足够的词来供分析程序处理，并且过滤掉冗余的信息，这是后期语义分析的质量和速度的重要前提。尤里卡的智能分词避免了传统分词技术在拆分时产生的歧义组合。从而为语义理解的处理提供了良好的原始材料。同时，在分词的过程中，知识库当中的同义词会被逐个匹配并同时提交给语义理解模块使用，这样处理过的句子，不仅提供了原始的句型，还同时搭载了语句的概念部分。

第二部分 在搜索技术中的应用
众所周知，随着互联网的迅速发展和广泛普及而导致网上信息爆炸性增长。如何在庞大的互联网上获得有价值的信息已成为网民日益关注的问题。这种以一定的策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务，从而起到信息导航的目的的搜索技术的出现为网民快速找到所需信息带来了福音。

但是，2001年，Roper Starch的调查指出，36%的互联网用户一个星期花了超过2个小时时间在网上搜索；71%的用户在使用搜索引擎的时候遇到过麻烦；平均搜索12分钟以后发现搜索受挫；搜索受挫中46%都是因为链接错误；绝大部分(86%)的互联网用户感到应当出现更有效的、准确的信息搜索技术。另一项由Keen所做的调查显示，人们平均每天有四个问题需要从外界获取答案；其中31%的人使用搜索引擎寻找答案；平均每周花费8.75个小时找寻答案；53.3%时间花在从旁人那里获得答案，29%的时间花在亲戚朋友身上，24.3%的是时间花在销售商那里；网上查找答案的，半数以上都不成功；他们每周将花费14.5美元以上，以获取正确的信息。

从这些调查数据中不难看出，尽管搜索服务提供者在研发搜索技术方面已经花费了大量的时间和精力，但是目前的搜索引擎仍然存在不少的局限性，比如信息丢失、返回信息太多、信息无关，这使得网民对于现有的搜索技术仍然不满，期盼更完美的搜索技术的出现。

由于自然语言理解技术的三方面功能，即机器翻译、语义理解及人机会话技术能够赋予搜索技术更具人性化、方便易用的特点。因此，近年来在搜索界得到了广泛的应用。无论是国内外的搜索引擎，都可以寻觅到语义理解、机器翻译的踪迹。

目前在搜索引擎方面主要应用的自然语言理解技术是机器翻译与语义理解技术。应用了这些技术的搜索引擎我们称之为智能搜索引擎。由于它将信息检索从目前基于关键词层面提高到基于知识（或概念）层面，对知识有一定的理解与处理能力，因而具有信息服务的智能化、人性化特征。它允许网民采用自然语言进行信息的检索，为他们提供更方便、更确切的搜索服务。

与传统的目录查询、关键词查询模式相比，自然语言查询的优势体现在：一是使网络交流更加人性化；二是使信息查询变得更加方便、快速和准确。现在，已经有越来越多的搜索引擎宣布支持自然语言搜索特性。比如国外的搜索引擎Google,，AskJeeves；国内的搜索引擎网易、尤里卡、问一问、21世纪互联、孙悟空、悠游等。在这里我们将重点介绍应用语义理解技术的中文智能搜索引擎。

首先以尤里卡搜索引擎为例简要说明一下这种智能搜索的过程。

实现智能搜索的过程主要分三部分：语义理解、知识管理和知识检索。其中，知识库是实现智能搜索的基础和核心。知识库提供的是语义理解中最终将要提供给用户的结果，同互联网的状况相同，人类的知识结构和容量都在飞速膨胀，所以知识库也需要有良好的适应能力。在语义理解的整个过程中，智能分词技术是最初的一个环节，它将组成语句的核心词提炼出来供语义分析模块使用。在分词的过程中，如何能够恰当地提供足够的词来供分析程序处理，并且过滤掉冗余的信息，这是后期语义分析的质量和速度的重要前提。

加入了知识库处理技术的智能分词能够避免了传统分词技术在拆分时产生的歧义组合。从而为语义理解的处理提供了良好的原始材料。知识检索可以利用语义分析的结果，对知识库进行概念级的检索，对用户提出问题给出准确度最高、相关度最强的检索结果。比如：”我想在北京找工作？”。首先进行语义理解，在知识库中”找工作”属于求知招聘的范畴，所以分析出用户想查询”在北京求职”。然后利用”在北京求职”这个概念查询知识库，得出答案。

下面我们再来看看各家宣称应用了自然语言理解的搜索技术有哪些特点。

问一问（www.weniwen.com）自然语言检索
问一问是由闻易网科技有限公司（Weniwen Technologies, Inc.）开发的智能搜索引擎。它允许用户以自然的、整句的方式、以汉语或英语发出查询请求。易于快速地、以比较经济的方式扩展到不同的语言。 并可以同时从两种语言中识别出词汇。使用自然语言处理（NLP）技术，与传统的、基于关键词匹配的搜索技术相比，NLP技术可使问一问”理解”请求中的上下文和含义。通过使用NLP技术，问一问可以更准确地检索出适当的信息。尤其适用于旅游/休闲、金融以及消费品工业的、正在寻求可增强消费者通过Internet来访问其信息或进行自动交易的途径的大企业或门户。

21ilink（www.21ilink.com）中文智能搜索引擎
世纪讯联公司开发的基于自然语言处理和人工神经网络的智能互动技术解决了传统信息分类中的一些语意交叉词汇抽象概念、边缘类别的信息查询问题实现了模糊查询。查询过程突出了个性化、人性化。采用了自然语言的语句单元，还可设定地方语言特色。界面更加友好，能够满足不同层次，不同查询目的客户的特殊需求。并能引导查询者快速准确地找到所需要的信息。此项智能搜索技术采用国内独创的中文问答方式，并兼容了其他传统的搜索引擎的查询方式。支持基于概念的信息搜索、行业化、专业化的智能搜索、客户定制的商务模型，还可完成管理、追踪、支付等一系列的供应链的分析、行业研究等咨询项目。实现了多方协作,业务拓展的无缝结合。

此项智能搜索系统是将现代智能计算技术、交换技术、网络技术、数据库技术融为一体，而建成的一个面向客户的，全方位高质量的服务体系。采用了独有的Smart Hit（智能语义）、和Kengine（知识引擎）。开放性、先进性和超前性均大大领先于同类系统。全套系统拥有完整的智能网络接入服务功能，支持各网络平台的语音文字、数据及图像，是一种智能多媒体平台。平台无中断，支持宽频网络，满足对数据库全内容覆盖要求。支持概念检索、动态页面检索。

孙悟空（search.chinaren.com）搜索引擎
孙悟空搜索引擎是ChinaRen开发并拥有自主版权的产品,能按照用户的需求，搜索大陆和港澳台的中文网页。孙悟空搜索不仅可用传统的关键词搜索方式，更是在所有中文搜索引擎里率先采用了提问式搜索，这是ChinaRen研究并实现的一种智能中文处理技术。通过该技术，您可以直接通过提出问题的方式搜索您想要找的内容，这样不仅更符合我们平时的习惯，而且准确率更高。孙悟空搜索引擎拥有强大的搜索能力，提高搜索的智能性和准确性；智能的评价体系，保证检索结果高度相关。

悠游（www.goyoyo.com.cn）中文智能搜索引擎
北京悠游科技开发有限公司（Beijing Goyoyo）成立于1998年10月，是一个以中文自然语言处理技术为基础建立的互联网信息咨询及技术服务网站（www.goyoyo.com）。悠游中文智能搜索引擎通过www.goyoyo.com 提供主要服务。为了更贴近用户的语言使用习惯，凭借先进的自然语言处理技术，悠游中文智能搜索引擎充分考虑到中文语句的表达结构以及丰富多样的词语表达形式，通过”口语化的提问，智能化的结果” ，让用户在查询时只需用口语化的表达方式输入欲查询的关键词、自然语句甚至输入中英文混合语句，选择要查询的网站或网页，单击”搜索”按纽，悠游中文智能搜索引擎就会根据您的查询请求自动分析语句，并且提炼主题，找到满意的答案，满足了广大用户的各种查询需求，使您能够悠闲自得的在网上畅游。

下面举例说明应用了语义理解技术的搜索引擎与传统搜索引擎相比的优势。

1、更高的搜索的易用性
由于智能搜索引擎具有智能分词功能，因此使得查询变得更为简单、易于操作。以网易为例说明：需要搜索”刘德华的最新个人专辑”，只需要将整个搜索内容全部输入到搜索框中就可以找到相关的内容；而在传统的搜索引擎中则必须遵守搜索的基本数学规则，输入”刘德华 最新 个人专辑”才能够找到搜索的内容。显然在搜索的易用性方面智能搜索引擎具有明显的优势。

2、搜索结果的范围定位准确
由于采用知识（概念）检索技术，明确和缩小的搜索范围，减少对无用信息的搜索。以尤里卡为例说明：要查找”北京的天气”只需要输入”北京天气”就可以找到相关程度甚高的北京的天气预报，同时还会给出相关的天气的内容。而在传统搜索引擎的查询结果中不但有北京天气的内容，还会给出所有与北京天气字样有关的各种内容，增大了用户查找搜索结果的难度。

3、搜索结果的智能性
由于智能搜索引擎有综合知识库为背景，使得信息检索与导航服务更具有智能性。知识库中的知识有助于解决表达差异的问题。所谓表达差异就是用户使用不同的词表达同一概念。而知识库中关于同义词的定义正好可以消除这种表达差异带来的检索困难。

从上面的示例及比较不难看出运用了先进的自然语言理解技术后，搜索引擎可以识别并回答用户的问题，使用户摆脱了传统搜索引擎基于关键字的束缚，指引用户更有效更快捷地寻找到所需的资料，同时为用户提供相关的有参考价值的其他内容。由于这些特点，使得智能搜索技术能够在互联网信息检索的各个方面得到广泛的应有。它可以为大型综合搜索引擎提供后台支持，使之具有人性化、交互性的特点。它能够方便的实现垂直搜索引擎的专业类别内搜索。当然它也可以为信息门户网站提供方便快捷的站内信息搜索服务。

Trackback: http://tb.blog.csdn.net/TrackBack.aspx?PostId=550607

]]> http://blog.zye.me/2011/08/18582.html/feed 0 谷歌十周年 系列 http://blog.zye.me/2011/07/42302.html http://blog.zye.me/2011/07/42302.html#comments Tue, 26 Jul 2011 14:28:22 +0000 yezheng http://www.5yiso.cn/2008/09/42302.html 谷歌十周年

 下一个互联网
构建一个干净、绿色的未来
消灭下一个天花病毒
数据的民主化
移动的未来
智慧的云
网络视频的未来
谷歌十岁了，但网络广告才刚刚开始
社交网络：关心身边点滴事
搜索的未来

]]> http://blog.zye.me/2011/07/42302.html/feed 0 百度的一道笔试题 http://blog.zye.me/2011/07/20532.html http://blog.zye.me/2011/07/20532.html#comments Sun, 24 Jul 2011 02:27:57 +0000 yezheng http://www.5yiso.cn/2008/03/20532.html 是百度的一道题

寻找热门查询：
搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串
的长度为1-255字节。假设目前有一千万个记录，
这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个
。一个查询串的重复度越高，说明查询它的用户越多，
也就是越热门。请你统计最热门的10个查询串，要求使用的内存不能超过1G。
（1）请描述你解决这个问题的思路；
（2）请给出主要的处理流程，算法，以及算法的复杂度。

]]> http://blog.zye.me/2011/07/20532.html/feed 1 Baidu 考试题 http://blog.zye.me/2011/07/15416.html http://blog.zye.me/2011/07/15416.html#comments Tue, 19 Jul 2011 02:27:26 +0000 yezheng http://www.5yiso.cn/2008/03/15416.html [...]]]> 请用脚本语言 Shell完成如下功能：
给定URL 列表统计每个站点出现的 URL数

请用脚本语言 Shell完成如下功能，要求实现越简单越好：
1/ 给定URL 列表统计每个站点出现的 URL数
2/ 从一批url中grep出首页
3/ 从一批url中grep出目录页
4/ 从一批url中grep出日期页面
5/ 求两文件的交集、并集、差集

注：（1）必须使用bash script；（2）可以内嵌awk。

提供一个文本文件1（all.site），每行两列，格式为 site urlnum。

提供一个文本文件2（all.domain），每行一列，格式为 每行一个主域名

定义：主域名，如下：

news.sina.com.cn 主域为sina.com.cn

www.5yiso.cn   主域为5yiso.cn

apple.club.sohu.com 主域为sohu.com

要求计算：

（1）文件2中每个主域上在文件1中存在的站点数(文件1中站点不能保证无重复)和url数量总和

（2）站点上url数量超过所在主域上站点平均url数量的站点集合

如文件1为

hshlkm.yp.sina.net 234

www.sina.net 220

www.combuilders.org 3

cmcy.hljeca.com 1

www.gafffe.com 2

文件2为

sina.net

combuilders.org

则计算结果1为:

sina.net 2 454

combuilders.org 1 3

数据位置：zixia:/home/work/TraningData/statdomain/

*********************************************************************
*********************************************************************

comm 属于 diff 家族的命令, 相当于寻找两个字符串的最长公共子串. 在寻找前, 要对两个文件先排序. 然后diff内部哈希把一行字符变成一个整数, 再使用寻找最长公共子串的动态规划. 因此, 比较一个 m 长文件和一个 n 长文件的复杂度还是比较大. 读者有兴趣的可以阅读这篇论文[PS]. 其实我自己以前也用Comm, 但是不知道为什么, comm 求集合差集的效果不好. 即使排好了序, 有很多文件之间算差集还是做不对.

找两个文件的交集和差集是很普通的一个事情. 举个简单的例子, 我每周都去Google 音乐趋势抓歌曲名, 抓完了以后, 我要知道哪些是我需要下的新歌 (因为有的歌可能在榜好几个星期, 不需要重复下载). 假设我机器上存的歌曲是集合B, 新抓取了集合A. 假设这些集合这都用文件存着, 每行一个歌曲名. 任务就是计算 A-B, 也就是在集合A中而不在集合B 中的那些歌曲. 我长期的使用经验证明, comm 并不能准确的算出差集.

抓耳挠腮了好久, 想: 要是的确有这个需求, 又没这个现成的工具, 那么肯定一行脚本能写出来. 其实只要运用集合论知识一想就知道, 就是在A中把同时在 A和B 中出现的剔除了呗. 因此办法是, 把 两个B 集合和一个 A 文件放到一起成一个大文件(集合), 然后选取这个大集合中唯一的. 那么这个唯一的肯定就是只在A中不在B中的, 仔细想想就知道是对的. 所以, 方法是:

sort B B A | uniq -u

同理, 对称差是:

sort A B | uniq -u

为什么我不喜欢用 comm 呢, 因为comm 是对有序的列表做操作的, 如果对集合, sort 和 uniq 足矣. 可能车大虾说的 join 两个表就是这个了, 不过我觉得, 这个看上去可能更加容易写一点, 毕竟用 comm 的比用 sort 和 uniq 的少一点, 而且, 复杂度也低, 构造也巧妙, 这个多能显示良好的数学和计算机功底啊 :P

Linux 不是玩具, 是提高工作效率的智慧的工具. 我越用越觉得缺少的只是想象力.

Update: Linux 下面解决问题从来就不止一种方法, 今天一个美国同事告诉我另一个方法求差集 A-B:

grep -F -f listb lista -v

那求交集可以用grep -F -f listb lista -v 了，呵呵．

＝＝＝＝＝
我原文当中好像就写了吧：

grep -F -f listb lista -v

]]> http://blog.zye.me/2011/07/15416.html/feed 0 Introduction to Google Search Quality http://blog.zye.me/2011/07/33355.html http://blog.zye.me/2011/07/33355.html#comments Wed, 13 Jul 2011 02:28:21 +0000 yezheng http://www.5yiso.cn/2008/06/33355.html [...]]]>

from goolge official blog

Introduction to Google Search Quality

5/20/2008 06:20:00 PM

Posted by Udi Manber, VP Engineering, Search Quality

Search
Quality is the name of the team responsible for the ranking of Google
search results. Our job is clear: A few hundreds of millions of times a
day people will ask Google questions, and within a fraction of a second
Google needs to decide which among the billions of pages on the web to
show them — and in what order. Lately, we have been doing other things
as well. But more on that later.

For something that is used so
often by so many people, surprisingly little is known about ranking at
Google. This is entirely our fault, and it is by design. We are, to be
honest, quite secretive about what we do. There are two reasons for it:
competition and abuse. Competition is pretty straightforward. No
company wants to share its secret recipes with its competitors. As for
abuse, if we make our ranking formulas too accessible, we make it
easier for people to game the system. Security by obscurity is never
the strongest measure, and we do not rely on it exclusively, but it
does prevent a lot of abuse.

The details of the ranking
algorithms are in many ways Google’s crown jewels. We are very proud of
them and very protective of them. By some estimate, more than one
thousand programmer/scientist years have gone directly into their
development, and the rate of innovation has not slowed down.

But
being completely secretive isn’t ideal, and this blog post is part of a
renewed effort to open up a bit more than we have in the past. We will
try to periodically tell you about new things, explain old things, give
advice, spread news, and engage in conversations. Let me start with
some general pieces of information about our group. More blog posts
will follow.

I should take a moment to introduce myself. My name
is Udi Manber, and I am a VP of engineering at Google in charge of
Search Quality. I have been at Google for over two years, and I have
been working on search technologies for almost 20 years.

The
heart of the group is the team that works on core ranking. Ranking is
hard, much harder than most people realize. One reason for this is that
languages are inherently ambiguous, and documents do not follow any set
of rules. There are really no standards for how to convey information,
so we need to be able to understand all web pages, written by anyone,
for any reason. And that’s just half of the problem. We also need to
understand the queries people pose, which are on average fewer than
three words, and map them to our understanding of all documents. Not to
mention that different people have different needs. And we have to do
all of that in a few milliseconds.

The most famous part of our ranking algorithm is PageRank,
an algorithm developed by Larry Page and Sergey Brin, who founded
Google. PageRank is still in use today, but it is now a part of a much
larger system. Other parts include language models (the ability to
handle phrases, synonyms, diacritics, spelling mistakes, and so on),
query models (it’s not just the language, it’s how people use it
today), time models (some queries are best answered with a 30-minutes
old page, and some are better answered with a page that stood the test
of time), and personalized models (not all people want the same thing).

Another
team in our group is responsible for evaluating how well we’re doing.
This is done in many different ways, but the goal is always the same:
improve the user experience. This is not the main goal, it is the only
goal. There are automated evaluations every minute (to make sure
nothing goes wrong), periodic evaluations of our overall quality, and,
most importantly, evaluations of specific algorithmic improvements.
When an engineer gets a new idea and develops a new algorithm, we test
their ideas thoroughly. We have a team of statisticians who look at all
the data and determine the value of the new idea. We meet weekly
(sometimes twice a week) to go over those new ideas and approve new
launches. In 2007, we launched more than 450 new improvements, about 9
per week on the average. Some of these improvements are simple and
obvious — for example, we fixed the way Hebrew acronym queries are
handled (in Hebrew an acronym is denoted by a (“) next to the last
character, so IBM will be IB”M), and some are very complicated — for
example, we made significant changes to the PageRank algorithm in
January. Most of the time we look for improvements in relevancy, but we
also work on projects where the sole purpose is to simplify the
algorithms. Simple is good.

International search has been one of
our key focus areas in the past two years. This means all spoken
languages, not just the major ones. Last year, for example, we made
major improvements in Azerbaijani, a language spoken by about 8 million
people. In the past few months, we launched spell checking in Estonian,
Catalan, Serbian, Serbo-Croatian, Ukranian, Bosnian, Latvian, Filipino
Tagalog, Slovenian and Farsi. We organized a network of people all over
the world who provide us with feedback, and we have a large set of
volunteers from all parts of Google who speak different languages and
help us improve search.

Another team is dedicated to new
features and new user interfaces. Having a great engine is necessary
for a great car, but it is not sufficient. The car has to be
comfortable and easy to drive. The Google search user interface is
quite simple. Very few of our users ever read our help pages,
and they can do very well without them (but they’re good reading
nevertheless, and we’re working to improve them). When we add new
features we try to ensure that they will be intuitive and easy to use
for everyone. One of the most visible changes we made in the past year
was Universal Search. Others include the Google Notebook, Custom Search Engines,
and of course, many improvements to iGoogle. The UI team is helped by a
team of usability experts who conduct user studies and evaluate new
features. They travel all over the world, and they even go to people’s
homes to see users in their natural habitat. (Don’t worry, they do not
come unannounced or uninvited!)

There is a whole team that concentrates on fighting webspam and other types of abuse.
That team works on variety of issues from hidden text to off-topic
pages stuffed with gibberish keywords, plus many other schemes that
people use in an attempt to rank higher in our search results. The team
spots new spam trends and works to counter those trends in scalable
ways; like all other teams, they do it internationally. The webspam
group works closely with the Google Webmaster Central team, so they can share insights with everyone and also listen to site owners.

There
are other teams devoted to particular projects. In general, our
organizational structure is quite informal. People move around, and new
projects start all the time.

One of the key things about search
is that users’ expectations grow rapidly. Tomorrow’s queries will be
much harder than today’s queries. Just as Moore’s law governs the
doubling of computing speed every 18 months, there is a hidden
unwritten law that doubles the complexity of our most difficult queries
in a short time. This is impossible to measure precisely, but we all
feel it. We know we cannot rest on our laurels, we have to work hard to
meet the challenge. As I mentioned earlier, we will continue providing
you with updates on search quality in the coming months, so stay tuned.

]]> http://blog.zye.me/2011/07/33355.html/feed 0 通过谷歌地图查看：四川大地震震中汶川在中国的方位及周围地形 http://blog.zye.me/2011/07/31926.html http://blog.zye.me/2011/07/31926.html#comments Tue, 05 Jul 2011 14:28:03 +0000 yezheng http://www.5yiso.cn/2008/05/31926.html from Google 黑板报 — Google 中国的博客网志 作者：joydandan

发表者：谷歌市场部 潘茜

5 月 12 日下午，中国四川汶川发生了强度达 7.8 级的地震。谷歌中国已于地震当天夜里紧急启动了“地震形势图”，让大家可以看到四川汶川当地的地理位置以及全国各地最新的抗震救灾情况，并找到提供捐赠的链接。我们的员工将随时在此图上更新最新消息与进展：

&nbsp

此外，你还可以通过如下操作，在 Google Earth 上看到汶川所在的地理位置：

直接下载美国地质调查局地震危害项目网站上的本次地震的位置地标：http://earthquake.usgs.gov/eqcenter/recenteqsww/Quakes/us2008ryan.kml

或通过如下步骤：
1．在谷歌地图上搜索汶川， 或打开上述“地震形势图”；
2．选择保存到“我的地图”（你需要 Google 账号才可以保存）；
3．点击地图上方的 KML 链接，你将可以下载一个Google Earth (谷歌地球)的地标文件。 如果你已经有Google Earth 软件， 双击这个KML文件，你将可以直接把它在Google Earth中打开，这样你就可以看到如下的地理位置的标注，并通过推进拉出的方式，了解它的具体方位、周边地形、与全国其他城市的距离等：

&nbsp

同时，你还可以在这个网址下载该网站提供的英文的地震新情况 Google Earth 地标http://earthquake.usgs.gov/eqcenter/catalogs/eqs7day-age.kmz (你同样需要有Google Earth
软件才可以查看这个地标)。它拥有实时更新功能，将随时告诉你最新地震的地理位置、震级等等。勾选左侧操作面板中“Places” 下面
Earthquake 文件夹内的“shakemap”选项，你将可以看到根据地震强度所显示的不同颜色的各地震级和影响范围，如下图所示：

&nbsp

&nbsp

上述美国地质调查局地震危害项目网站，是最快报告全球地震最新情况的专业网站之一。你可以通过谷歌翻译产品，直接用中文查看浏览该网站。虽然机器的自动翻译水准大概在高中生水平，基本数据如经纬度位置、震源深度等都是可以参考的。

我们会随时关注最新进展，并尽量提供最完备的地理信息

]]> http://blog.zye.me/2011/07/31926.html/feed 0 被Google惩罚了 http://blog.zye.me/2011/07/31680.html http://blog.zye.me/2011/07/31680.html#comments Mon, 04 Jul 2011 02:28:46 +0000 yezheng http://www.5yiso.cn/2008/05/31680.html 最近本站的PR值刚升到3，以为google的排名能更上一层楼，以为能从google带来更多的流量，没想这段时间从google来的ip几乎为0。用site：5yiso.cn看搜录，一点变化也没有，而且还是每天都更新，说明不想百度那么恶心K站，而是降低了本站的权重。

想想这些天也没干吗啊，就51期间换了模版，换个心情，应该不会因为这个惩罚。另外，还测试了一下yigao的链接广告（3天），感觉很垃圾就撤了，不想因为这个受惩罚吧。只听说google惩罚通过国外像text-link那个ads提供商出售链接才惩罚，难道小小破yigao也引起了google的注意。挂两天也惩罚！？

很少搞SEO，不太清楚具体是何原因，有知道的朋友请帮忙分析下。

现在可惨了，每天访问量100ip都没有，google惩罚，百度就是不怎么搜录。晕，不过继续自娱自乐，哪怕每天就我自己一个ip呵呵。

]]> http://blog.zye.me/2011/07/31680.html/feed 4 PageRank up–纪念 http://blog.zye.me/2011/07/30834.html http://blog.zye.me/2011/07/30834.html#comments Fri, 01 Jul 2011 14:27:29 +0000 yezheng http://www.5yiso.cn/2008/05/30834.html 今天早上踢完球，甚是痛快，这把老骨头好久没有这么大运动量了。回到实验室打开qq，一哥们给我发个消息，说我的博客PR值升到3了，呵呵打开网页一看，还真是，感觉不错，特留下几个字留念。

这是好像是今年第三词PR值更新了，你的PR值up了吗？我感觉首页PR到1-3都还是比较容易的，只要你找几个站交换链接，下次更新应该就没什么问题，无需太多技巧，但听说突破4还是比较难的。

继续交换链接，具体说明请看
http://www.5yiso.cn/2008/03/19274.html

]]> http://blog.zye.me/2011/07/30834.html/feed 2