-noUser-

WALK-BOY

职业: 程序员
签名:
2021-02-24 17:34 发表了评论 增量和修改的数据,就是DB生成时候,异步同步到ES的,这个是没问题的。问题就是在全量同步时候,太耗时。
2021-02-24 17:32 选择满意答案 Mysql数据同步ES的性能优化或方案优化
2021-02-24 17:29 发表了评论 恩恩,这个思路是完全OK的,之前也考虑过用disruptor对同步和拼装过程进行多线程优化的,自己也写了一套。这里抛出来,主要是想了解下,有没有别的什么技术可以运用解决这个业务场景(例如跳出这个思维模式,不用ES等等),和大家一起讨论下,也想拓宽下自己的解决思路。
2021-02-24 17:09 发表了评论 主要是拼装一条记录,需要查8张Mysql数据表,外加还有2次https调用别的微服务接口。所有的过程加在一起,耗时就多了。。。
2021-02-24 15:22 发表了评论 现在增量的数据、或者变化的数据,就是通过Canel(监听mysql的binlog),然后发送消息至kafka,消费端订阅kafka消息去同步ES的,这个是没问题的。问题是,全量同步一次数据的时候,耗时太久,这个如何去优化,减少全量同步的时间
2021-02-24 15:05 发布提问 Mysql数据同步ES的性能优化或方案优化
个人成就
发布问题数:
1 个
发布文章数:
0 篇
答案被采纳数:
0 次
评论次数:
0 次
帮助
关注数: 关注的问题和作者的总数
收藏数: 收藏的问题和文章的总数