中文分詞-詞典逆向最大匹配法-JAVA實(shí)現(xiàn)

package org.example;

import java.io.*;
import java.nio.charset.StandardCharsets;
import java.util.HashSet;

public class Words {
 private HashSet<String> hashSet = new HashSet<>();

 public void loadWordsData(String fileName) throws IOException {
  BufferedReader br = null;
  InputStreamReader isr = null;
  FileInputStream fis = null;
  File file = new File(fileName);
  fis = new FileInputStream(file);
  isr = new InputStreamReader(fis, StandardCharsets.UTF_8);
  br = new BufferedReader(isr);

  /*讀取每一行內(nèi)容即一個(gè)詞，保存在哈希表中*/
  String line = null;
  while ((line = br.readLine()) != null) {
   hashSet.add(line.replace(" ", ""));
  }
 }


 /*詞庫(kù)中是否存在word*/
 public boolean contains(String word) {
  return hashSet.contains(word);
 }
}

package org.example;

import java.io.IOException;
import java.util.ArrayDeque;
import java.util.Deque;

/**
 * @author: Mr.Hu
 * @create: 2021-04-07 15:52
 */
public class App {

  public static void main(String[] args) throws IOException {
    Words words = new Words();
    words.loadWordsData("data.txt");
    Deque<String> rs = new ArrayDeque<>();
    String input = "普京跟特朗普在明天下雨之前學(xué)會(huì)加減乘除，吃完飯沒時(shí)間睡覺,睡覺后去上大學(xué)";
    String analysis = null; // 每次匹配的字符串
    int head = 0; // head~tail-1為分詞字符串
    int tail = input.length(); // 余下的字符長(zhǎng)度
    final int max_length = 4; // 最大匹配長(zhǎng)度
    while (tail > 0) {
      // 先嘗試取最大匹配長(zhǎng)度
      if (tail > max_length) head = tail - max_length;
      else head = 0; // 余下全部
      analysis = input.substring(head, tail); // 截取
      /*直到截取字符串只有一個(gè)字符或者字符串存在于詞庫(kù)中*/
      while (analysis.length() > 1 && !words.contains(analysis)) {
        analysis = analysis.substring(1); // 去除最左字符，即嘗試匹配少一位
        head++; // 下標(biāo)往后
      }
      rs.push(analysis); // 棧中
      tail = head; // 下一個(gè)截取字符串的尾巴是這次的頭
    }

    for (String item : rs) {
      System.out.print(item + " / "); // 詞庫(kù)中的詞沒有單字的
    }
    System.out.println();
  }
}

普京
大學(xué)
天氣
睡覺
下雨
吃飯
時(shí)間
特朗普
加減乘除
明天
之前