添加链接
link管理
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接
业务说明:将数据库表A的数据拿出来放到es中,表A有id和name字段,id不唯一;放到es中,id作为doc的_id,name为一个数据不重复的数组。该如何实现?表A中的数据会不断增加,也会不断被修改,有更新时间的字段。
我的思路:
1,用logstash将jdbc导入redis,id作为key,name作为value,value类型为set,这样就不会重复;然后将redis更新到es,但是logstash的redis(input插件),key不能动态指定,只能指定一个key,这样就没法实现了。
2,用logstash直接导入到es:用logstash的elasticsearch(filter插件)处理,根据id查询出es已经存在的数据,拿到name数组, 经过“处理” ,和当前的name合并为一个不重复的数组,再更新到es,这个 “处理” 该怎么实现呢?
请问我的上述两种思路能不能解决这个问题,如果能,该怎么做?如果不能,有没有其他方法?多谢
  • elasticsearch scroll查询的原理没太懂
  • 我来写第一个帖子-你们都是什么时候知道elasticsearch的?
  • 怎么解决elasticsearch集群占用太多虚拟内存(VIRT)的问题?占用了几十个G,有什么可以对它进行限制的相关设置吗?
  • elasticsearch 设置 node.data: false 依然有数据
  • 集群稳定性的一些问题(一定量数据后集群变得迟钝)
  • ElasticSearch-Hadoop的目標是什麼呢??
  • elasticsearch functionScoreQuery scriptFunction效率问题
  • 如何清理Elasticsearch特定时间段数据?
  • Elasticsearch聚合操作的时间复杂度是O(n)吗?
  • 请教elasticsearch出现unassigned shards根本原因
  • 如何设置分配给elasticsearch的内存大小?
  •