基于Vue+SpringCloudAlibaba微服务电商项目实战-商品服务-014:商品搜索服务基于Canal解决MySQL与ES数据一致性的问题

014:商品搜索服务基于Canal解决MySQL与ES数据一致性的问题

    • 1 canal解决ES与mysql数据的一致性问题
    • 2 简单回顾倒排索引底层的实现原理
    • 3 kibana与Elasticsearch的区别
    • 4 Elasticsearch的IK分词器介绍
    • 5 使用kibana创建商品索引
    • 6 canal解决mysql与es数据一致性问题原理
    • 7 canal客户端同步数据到ES中
    • 8 测试canal客户端同步数据到ES

1 canal解决ES与mysql数据的一致性问题

今日课程任务:

  1. 简单回顾MySQL与Redis数据一致性问题
  2. 基于docker搭建Elasticsearch与Kibana
  3. Elasticsearch与MySQL如何保证数据一致性问题
  4. 基于Canal整合kafka解决MySQL与Elasticsearch同步问题

2 简单回顾倒排索引底层的实现原理

Elasticsearch为什么查询速度非常快?
Elasticsearch底层采用倒排索引对文档的内容进行关键词分词,每个关键词对应多个文档出现具体位置信息,后期查询的时候直接通过分词定位到相关的文档信息。
默认情况下Elasticsearch对中文分词不是很友好,可以采用第三方Ik分词器或者自定义热词。

序号姓名城市
1小k上海市徐汇区
2小m上海市浦东新区
3小j北京市朝阳区
4小i武汉市东湖高新区
5小a苏州市吴中经济开发区
6小f上海市徐汇区

倒排索引原理 分词 分词库 对所有文档内容根据关键词进行分词 ik分词库
徐汇 对应文档id 文档1、6
上海 对应文档id 文档1、2、6
可以非常高效的查询到所有文档里面匹配的关键内容,输入关键词可以直接根据关键词找到对应文档id出现的位置。

3 kibana与Elasticsearch的区别

Elasticsearch 存储商品详情数据
Kibana 采用可视化界面操作ES

docker安装ES & Kibana
1 下载镜像

docker pull elasticsearch:6.7.2
docker pull kibana:6.7.2

2 run ES in docker

docker run -it --name elasticsearch -d -p 9200:9200 -p 9300:9300 -p 5601:5601 elasticsearch:6.7.2

查看是否启动成功:curl 127.0.0.1:9200
第一次启动失败解决方案
sudo vi /etc/sysctl.conf
添加下面的配置文件
vm.max_map_count=655360
执行命令
sudo sysctl -p
重新启动ES镜像
3 run Kibana in docker
kibana的container共用elasticsearch的网络

docker run -it -d -e ELASTICSEARCH_URL=http://127.0.0.1:9200 --name kibana --network=container:elasticsearch kibana:6.7.2

注意:-p 5601:5601 是kibana的端口地址 (这里kibana的container共用elasticsearch的网络,所以这样设置。
service iptables stop 关闭防火墙
访问:http://192.168.0.122:9200/ http://192.168.0.122:5601/
测试效果:
在这里插入图片描述
设置kibana界面汉化

docker ps ##查看容器号
#进入容器
docker exec -it e191c83da1b2 /bin/bash
#修改配置
vi /usr/share/kibana/config/kibana.yml
#添加中文配置
i18n.locale: zh-CN 注意冒号后边有个空格
#退出容器
exit
#重启kibana即可

4 Elasticsearch的IK分词器介绍

Docker安装ES指定IK分词器
分词器下载地址
https://github.com/medcl/elasticsearch-analysis-ik/releases
注意ES整合ik分词器一定要注意版本统一

将ik分词器拷贝到容器中
docker ps ##查看容器号
docker exec -it 容器号 bash ##进入容器
服务器上创建目录mkdir /usr/share/elasticsearch/plugins 上传准备的好的ik分词器,文件夹重命名为ik,拷贝到es容器中
docker cp /usr/share/elasticsearch/plugins/ik ae598420aa95:/usr/share/elasticsearch/plugins/ik ##只需要换容器id

Elasticsearch测试ik分词器
重启容器 docker restart 容器号

测试效果:
在这里插入图片描述
Ik分词器词语均收录于文件库config/extra_main.dic中

5 使用kibana创建商品索引

需要依赖的数据库

CREATE TABLE `meite_product` (
  `ID` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键ID',
  `CATEGORY_ID` int(11) DEFAULT NULL COMMENT '类型ID',
  `NAME` varchar(128) DEFAULT NULL COMMENT '名称',
  `SUBTITLE` varchar(128) DEFAULT NULL COMMENT '小标题',
  `MAIN_IMAGE` varchar(128) DEFAULT NULL COMMENT '主图像',
  `SUB_IMAGES` text COMMENT '小标题图像',
  `DETAIL` text COMMENT '描述',
  `ATTRIBUTE_LIST` varchar(128) DEFAULT NULL COMMENT '商品规格',
  `PRICE` decimal(32,8) DEFAULT NULL COMMENT '价格',
  `STOCK` int(11) DEFAULT NULL COMMENT '库存',
  `STATUS` int(11) DEFAULT NULL COMMENT '状态',
  `REVISION` int(11) DEFAULT NULL COMMENT '乐观锁',
  `CREATED_BY` varchar(32) DEFAULT NULL COMMENT '创建人',
  `CREATED_TIME` datetime DEFAULT NULL COMMENT '创建时间',
  `UPDATED_BY` varchar(32) DEFAULT NULL COMMENT '更新人',
  `UPDATED_TIME` timestamp NULL DEFAULT NULL COMMENT '更新时间',
  PRIMARY KEY (`ID`)
) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=utf8 COMMENT='商品信息表';

INSERT INTO `meite_product` VALUES (NULL, '11', '华为P8手机', 'Pad平板电脑', 'http://img.iblimg.com/photo-42/3020/1135120490_200x200.jpg', '{\"imgages\":[{\"http://img.iblimg.com/photo-42/3020/1135120490_200x200.jpg\"},{\"http://img.iblimg.com/photo-42/3020/1135120490_200x200.jpg\"}]}', '官方授权Pad苹果电脑', '1,2,3', null, null, '0', '1', null, '2020-01-30 16:02:40', null, '2020-07-11 16:02:40');
INSERT INTO `meite_product` VALUES (NULL, '11', '苹果8', 'Pad平板电脑', 'http://img.iblimg.com/photo-42/3020/1135120490_200x200.jpg', '{\"imgages\":[{\"http://img.iblimg.com/photo-42/3020/1135120490_200x200.jpg\"},{\"http://img.iblimg.com/photo-42/3020/1135120490_200x200.jpg\"}]}', '官方授权Pad苹果电脑', '1,2,3', null, null, '0', '1', null, '2020-01-30 16:02:40', null, '2020-07-11 16:02:40');
INSERT INTO `meite_product` VALUES (NULL, '11', '苹果X', 'Pad平板电脑', 'http://img.iblimg.com/photo-42/3020/1135120490_200x200.jpg', '{\"imgages\":[{\"http://img.iblimg.com/photo-42/3020/1135120490_200x200.jpg\"},{\"http://img.iblimg.com/photo-42/3020/1135120490_200x200.jpg\"}]}', '官方授权Pad苹果电脑', '1,2,3', null, null, '0', '1', null, '2020-01-30 16:02:40', null, '2020-07-11 16:02:40');

ES中创建商品详情文档

DELETE /goods

PUT /goods
GET /goods
POST /goods/_mapping/goods
{
      "goods": {
        "properties": {
          "@timestamp": {
            "type": "date"
          },
          "@version": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "attribute_list": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "category_id": {
            "type": "long"
          },
          "created_time": {
            "type": "date"
          },
          "detail": {
            "type": "text",
             "analyzer":"ik_smart",
            "search_analyzer":"ik_smart"

          },
          "id": {
            "type": "long"
          },
          "main_image": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "name": {
            "type": "text",
            "analyzer":"ik_smart",
            "search_analyzer":"ik_smart"

          },
          "revision": {
            "type": "long"
          },
          "status": {
            "type": "long"
          },
          "sub_images": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "subtitle": {
            "type": "text",
          "analyzer":"ik_smart",
         "search_analyzer":"ik_smart"

          },
          "updated_time": {
            "type": "date"
          }
        }
      }
}

POST /goods/_doc
{
  "category_id":"1",
  "detail":"小米官方出品小米10Pro",
  "name":"小米10Pro"
}

GET /goods/_search

6 canal解决mysql与es数据一致性问题原理

如何解决mysql与es数据同步问题
代码实现

  1. 商品后台管理系统
    insertDB —向数据库插入商品数据
    insertES --向ES插入商品数据
    缺陷:数据一致性问题或者需要人为修改数据库,补偿机制实现麻烦
    仅适合小项目
  2. MQ模式
    insertES --MQ发送一条插入ES数据消息
    MQ消费者异步写入到ES中
    借助工具自动同步
  3. 定时实现mysql与es同步可能会存在数据延迟(logstash方式)
  4. Canal方式可以实现实时同步(MQ模式)
    在这里插入图片描述

7 canal客户端同步数据到ES中

构建商品服务canal客户端项目
创建模块mt-shop-service-product-canalclient
引入依赖

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
    </dependency>
</dependencies>

配置文件boostrap.yml

# kafka
spring:
  kafka:
    # kafka服务器地址(可以多个)
    bootstrap-servers: 127.0.0.1:9092
    consumer:
      # 指定一个默认的组名
      group-id: kafka2
      # earliest:当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费
      # latest:当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据
      # none:topic各分区都存在已提交的offset时,从offset后开始消费;只要有一个分区不存在已提交的offset,则抛出异常
      auto-offset-reset: earliest
      # key/value的反序列化
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
    producer:
      # key/value的序列化
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
      # 批量抓取
      batch-size: 65536
      # 缓存容量
      buffer-memory: 524288
  data:
    elasticsearch:
      ####集群名称
      cluster-name: docker-cluster
      ####地址
      cluster-nodes: 192.168.0.122:9300

代码类

@Document(indexName = "goods", type = "goods")
@Data
public class ProductEntity {
   /** 主键ID */
   private Integer id;
   /** 类型ID */
   private Integer categoryId;
   /** 名称 */
   private String name;
   /** 小标题 */
   private String subtitle;
   /** 主图像 */
   private String mainImage;
   /** 小标题图像 */
   private String subImages;
   /** 描述 */
   private String detail;
   /** 商品规格 */
   private String attributeList;
   /** 价格 */
   private Double price;
   /** 库存 */
   private Integer stock;
   /** 状态 */
   private Integer status;

   /** 创建人 */
   private String createdBy;
   /** 创建时间 */
   private Date createdTime;

   /** 更新时间 */
   private Timestamp updatedTime;
}
public interface ProductReposiory extends ElasticsearchRepository<ProductEntity, Long> {

}
@Component
public class ProductKafkaConsumer {

    @Autowired
    private ProductReposiory productReposiory;

    @KafkaListener(topics = "mayikt-topic")
    public void receive(ConsumerRecord<?, ?> consumer) {
        System.out.println("topic名称:" + consumer.topic() + ",key:" +
                consumer.key() + "," +
                "分区位置:" + consumer.partition()
                + ", 下标" + consumer.offset() + "," + consumer.value());
        String json = (String) consumer.value();
        JSONObject jsonObject = JSONObject.parseObject(json);
        String type = jsonObject.getString("type");
        String pkNames = jsonObject.getJSONArray("pkNames").getString(0);
        JSONArray data = jsonObject.getJSONArray("data");
        String table = jsonObject.getString("table");
        String database = jsonObject.getString("database");
        for (int i = 0; i < data.size(); i++) {
            JSONObject dataObject = data.getJSONObject(i);
            ProductEntity productEntity = dataObject.toJavaObject(ProductEntity.class);
            // 连接es同步数据
            switch (type) {
                case "UPDATE":
                case "INSERT":
                    productReposiory.save(productEntity);
                    break;
                case "DELETE":
                    productReposiory.delete(productEntity);
                    break;
            }
        }
    }
}
@SpringBootApplication
public class AppProductCanalClient {
    public static void main(String[] args) {
        SpringApplication.run(AppProductCanalClient.class);
    }
}

8 测试canal客户端同步数据到ES

测试效果:
在这里插入图片描述

热门文章

暂无图片
编程学习 ·

C语言二分查找详解

二分查找是一种知名度很高的查找算法&#xff0c;在对有序数列进行查找时效率远高于传统的顺序查找。 下面这张动图对比了二者的效率差距。 二分查找的基本思想就是通过把目标数和当前数列的中间数进行比较&#xff0c;从而确定目标数是在中间数的左边还是右边&#xff0c;将查…
暂无图片
编程学习 ·

GMX 命令分类列表

建模和计算操作命令&#xff1a; 1.1 . 创建拓扑与坐标文件 gmx editconf - 编辑模拟盒子以及写入子组(subgroups) gmx protonate - 结构质子化 gmx x2top - 根据坐标生成原始拓扑文件 gmx solvate - 体系溶剂化 gmx insert-molecules - 将分子插入已有空位 gmx genconf - 增加…
暂无图片
编程学习 ·

一文高效回顾研究生课程《数值分析》重点

数值分析这门课的本质就是用离散的已知点去估计整体&#xff0c;就是由黑盒子产生的结果去估计这个黑盒子。在数学里这个黑盒子就是一个函数嘛&#xff0c;这门课会介绍许多方法去利用离散点最大化地逼近这个函数&#xff0c;甚至它的导数、积分&#xff0c;甚至微分方程的解。…
暂无图片
编程学习 ·

在职阿里5年,一个28岁女软测工程师的心声

简单的先说一下&#xff0c;坐标杭州&#xff0c;14届本科毕业&#xff0c;算上年前在阿里巴巴的面试&#xff0c;一共有面试了有6家公司&#xff08;因为不想请假&#xff0c;因此只是每个晚上去其他公司面试&#xff0c;所以面试的公司比较少&#xff09; ​ 编辑切换为居中…
暂无图片
编程学习 ·

字符串左旋c语言

目录 题目&#xff1a; 解题思路&#xff1a; 第一步&#xff1a; 第二步&#xff1a; 第三步&#xff1a; 总代码&#xff1a; 题目&#xff1a; 实现一个函数&#xff0c;可以左旋字符串中的k个字符。 例如&#xff1a; ABCD左旋一个字符得到BCDA ABCD左旋两个字符…
暂无图片
编程学习 ·

设计模式--观察者模式笔记

模式的定义与特点 观察者&#xff08;Observer&#xff09;模式的定义&#xff1a;指多个对象间存在一对多的依赖关系&#xff0c;当一个对象的状态发生改变时&#xff0c;所有依赖于它的对象都得到通知并被自动更新。这种模式有时又称作发布-订阅模式、模型-视图模式&#xf…
暂无图片
编程学习 ·

睡觉突然身体动不了,什么是睡眠痽痪症

很多朋友可能有这样的体验&#xff0c;睡觉过程中突然意识清醒&#xff0c;身体却动弹不了。这时候感觉非常恐怖&#xff0c;希望旁边有一个人推自己一下。阳光以前也经常会碰到这样的情况&#xff0c;一年有一百多次&#xff0c;那时候很害怕晚上到来&#xff0c;睡觉了就会出…
暂无图片
编程学习 ·

深入理解C++智能指针——浅析MSVC源码

文章目录unique_ptrshared_ptr 与 weak_ptrstd::bad_weak_ptr 异常std::enable_shared_from_thisunique_ptr unique_ptr 是一个只移型别&#xff08;move-only type&#xff0c;只移型别还有std::mutex等&#xff09;。 结合一下工厂模式&#xff0c;看看其基本用法&#xff…
暂无图片
编程学习 ·

@TableField(exist = false)

TableField(exist false) //申明此字段不在数据库存在&#xff0c;但代码中需要用到它&#xff0c;通知Mybatis-plus在做写库操作是忽略它。,.
暂无图片
编程学习 ·

Java Web day15

第十二章文件上传和下载 一、如何实现文件上传 要实现Web开发中的文件上传功能&#xff0c;通常需要完成两步操作&#xff1a;一.是在Web页面中添加上传输入项&#xff1b;二是在Servlet中读取上传文件的数据&#xff0c;并保存到本地硬盘中。 需要使用一个Apache组织提供一个…
暂无图片
编程学习 ·

【51nod 2478】【单调栈】【前缀和】小b接水

小b接水题目解题思路Code51nod 2478 小b接水 题目 输入样例 12 0 1 0 2 1 0 1 3 2 1 2 1输出样例 6解题思路 可以发现最后能拦住水的都是向两边递减高度&#xff08;&#xff1f;&#xff09; 不管两个高积木之间的的积木是怎样乱七八糟的高度&#xff0c;最后能用来装水的…
暂无图片
编程学习 ·

花了大半天写了一个UVC扩展单元调试工具

基于DIRECTSHOW 实现的&#xff0c;用的是MFC VS2019. 详见&#xff1a;http://www.usbzh.com/article/detail-761.html 获取方法 加QQ群:952873936&#xff0c;然后在群文件\USB调试工具&测试软件\UVCXU-V1.0(UVC扩展单元调试工具-USB中文网官方版).exe USB中文网 USB中文…
暂无图片
编程学习 ·

贪心(一):区间问题、Huffman树

区间问题 例题一&#xff1a;区间选点 给定 N 个闭区间 [ai,bi]请你在数轴上选择尽量少的点&#xff0c;使得每个区间内至少包含一个选出的点。 输出选择的点的最小数量。 位于区间端点上的点也算作区间内。 输入格式 第一行包含整数 N&#xff0c;表示区间数。 接下来 …
暂无图片
编程学习 ·

C语言练习实例——费氏数列

目录 题目 解法 输出结果 题目 Fibonacci为1200年代的欧洲数学家&#xff0c;在他的着作中曾经提到&#xff1a;「若有一只免子每个月生一只小免子&#xff0c;一个月后小免子也开始生产。起初只有一只免子&#xff0c;一个月后就有两只免子&#xff0c;二个月后有三只免子…
暂无图片
编程学习 ·

Android开发(2): Android 资源

个人笔记整理 Android 资源 Android中的资源&#xff0c;一般分为两类&#xff1a; 系统内置资源&#xff1a;Android SDK中所提供的已经定义好的资源&#xff0c;用户可以直接拿来使用。 用户自定义资源&#xff1a;用户自己定义或引入的&#xff0c;只适用于当前应用的资源…
暂无图片
编程学习 ·

零基础如何在短时间内拿到算法offer

​算法工程师是利用算法处理事物的职业 算法&#xff08;Algorithm&#xff09;是一系列解决问题的清晰指令&#xff0c;也就是说&#xff0c;能够对一定规范的输入&#xff0c;在有限时间内获得所要求的输出。 如果一个算法有缺陷&#xff0c;或不适合于某个问题&#xff0c;执…
暂无图片
编程学习 ·

人工智能:知识图谱实战总结

人工智能python&#xff0c;NLP&#xff0c;知识图谱&#xff0c;机器学习&#xff0c;深度学习人工智能&#xff1a;知识图谱实战前言一、实体建模工具Protegepython&#xff0c;NLP&#xff0c;知识图谱&#xff0c;机器学习&#xff0c;深度学习 人工智能&#xff1a;知识图…
暂无图片
编程学习 ·

【无标题】

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题&#xff0c;有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注…