关键词查找【Aho-Corasick 算法】
创始人
2024-11-21 13:34:41
0次

【全程干货】程序员必备算法!AC自动机算法敏感词匹配算法!动画演示讲解,看完轻松掌握,面试官都被你唬住!!_哔哩哔哩_bilibili

著名的多模匹配算法

引入依赖:

    org.ahocorasick    ahocorasick    0.6.3 
public List findKeywordsInText(String text, List keywords) {    Trie trie = Trie.builder()          .addKeywords(keywords)          .build();      long start = System.currentTimeMillis();    Collection emits = trie.parseText(text);    logger.info("trie: " + (System.currentTimeMillis() - start));      List matchedKeywords = new ArrayList<>();    for (Emit emit : emits) {       matchedKeywords.add(emit.getKeyword());    }      return matchedKeywords; }

main demo

public static void main(String[] args) {    String BASE_URL = "https://www.baidu.com/s?wd=";      String text = "abcd";    List wordList = new ArrayList<>();    wordList.add("ab");    wordList.add("bc");    wordList.add("cd");    wordList.add("a");    wordList.add("bcd");    wordList.add("abc");      // 构建 Trie 时忽略大小写  Trie trie = Trie.builder()          .ignoreCase()          .addKeywords(wordList)          .build();      Collection emits = trie.parseText(text);      // 按照关键词长度降序排序  List sortedEmits = new ArrayList<>(emits);    sortedEmits.sort((e1, e2) -> e2.getKeyword().length() - e1.getKeyword().length());      // 移除开始位置在前面词的开始和结束中间的关键词  Set processedKeywords = new HashSet<>();    List filteredEmits = new ArrayList<>();    for (Emit emit : sortedEmits) {       String keyword = emit.getKeyword();       boolean shouldAdd = true;       for (Emit filteredEmit : filteredEmits) {          if (emit.getStart() >= filteredEmit.getStart() && emit.getStart() <= filteredEmit.getEnd()) {             shouldAdd = false;             break;          }       }       if (shouldAdd) {          filteredEmits.add(emit);          processedKeywords.add(keyword);       }    }      // 使用TreeMap来保持emit的start位置顺序  TreeMap firstOccurrences = new TreeMap<>();    for (Emit emit : filteredEmits) {       firstOccurrences.putIfAbsent(emit.getStart(), emit);    }      StringBuilder result = new StringBuilder(text);    int offset = 0;    processedKeywords.clear();    for (Emit emit : firstOccurrences.values()) {       String keyword = emit.getKeyword();       if (!processedKeywords.contains(keyword)) {          int startIndex = emit.getStart() + offset;          int endIndex = emit.getEnd() + 1 + offset;          String link = "" + keyword + "";          result.replace(startIndex, endIndex, link);          offset += link.length() - keyword.length();          processedKeywords.add(keyword);       }    }    System.out.println(result.toString()); }

相关内容

热门资讯

技术分享作弊器!联众娱乐作弊器... 技术分享作弊器!联众娱乐作弊器AI技巧,联众娱乐多功能好像是有作弊器技巧1、每一步都需要思考,不同水...
科技通报开挂!新爵互娱开挂AI... 科技通报开挂!新爵互娱开挂AI技巧,新爵互娱多功能原来是真的有开挂技巧1)新爵互娱免费钻石:进一步探...
三分钟了解透视挂!微乐a3纸牌... 三分钟了解透视挂!微乐a3纸牌透视挂AI教程,微乐a3纸牌多功能一贯存在有透视挂教程1、在微乐a3纸...
科普常识外挂!九九麻将外挂AI... 科普常识外挂!九九麻将外挂AIapp,九九麻将多功能真是有外挂app该软件可以轻松地帮助玩家将九九麻...
今日公布辅助器!至尊娱乐城辅助... 今日公布辅助器!至尊娱乐城辅助器AI插件,至尊娱乐城多功能一直真的有辅助器插件至尊娱乐城能透视中分为...
技术分享作弊器!BOB作弊器A... 技术分享作弊器!BOB作弊器AI软件,BOB多功能原来真的是有作弊器软件1、下载好BOB透视辅助下载...
一分钟了解辅助!老夫子互娱辅助... 一分钟了解辅助!老夫子互娱辅助AI软件,老夫子互娱多功能好像是真的有辅助软件1.老夫子互娱 选牌创建...
玩家必知教程外挂!天府棋牌外挂... 玩家必知教程外挂!天府棋牌外挂AI脚本,天府棋牌多功能好像真的是有外挂脚本1、进入游戏-大厅左侧-新...
科技通报作弊器!乐天游作弊器A... 科技通报作弊器!乐天游作弊器AI方法,乐天游多功能竟然真的有作弊器方法进入游戏-大厅左侧-新手福利-...
关于辅助!牛财神辅助AI攻略,... 关于辅助!牛财神辅助AI攻略,牛财神多功能好像是真的有辅助攻略1、玩家可以在牛财神透视最简单三个步骤...