67浏览

0评论

dbeaver工具连接达梦数据库的完整步骤

目录一 概述二、环境准备2.1 DBeaver可以绿色版安装，下载zip包解压即可使用2.2、解压完成后运行dbeaver.exe2.3、选择“数据库”-“驱动管理器”，然后点...

• 2023-07-24

108浏览

0评论

Doris 数据模型ROLLUP及前缀索引官方教程

目录基本概念Aggregate 模型（聚合模型）示例1：导入数据聚合示例2：保留明细数据示例3：导入数据与已有数据聚合Uniq 模型（唯一主键）Duplicate 模型（冗余模型）ROLLUPAggregate 和 Uniq 模...

• 2023-07-24

57浏览

0评论

DBeaver执行外部sql文件详细图文教程

T1:DBeaver执行外部sql文件如果数据库已经存在了，那么直接右击库名，如下图：如果数据库不存在，外部sql文件中含有建库语句，可以先手动建库，再把sql文件中建库语句删了后执行脚本。...

• 2023-07-24

62浏览

0评论

关于hive表的存储格式ORC格式的使用详解

目录hive表的源文件存储格式：1、TEXTFILE2、SEQUENCEFILE 3、RCFILE4、ORC5、自定义格式ORC格式方式一：方式二：方式三：hive表的源文件存储格式：1、TEXTFILE默认格式，建表时不指定...

• 2023-07-24

61浏览

0评论

浅谈一下数据库系统的发展与组成

目录1. 数据库系统的发展1.1 人工管理阶段1.2 文件系统阶段1.3 数据库阶段1.4 大数据阶段2 数据库系统的组成2.1 数据模型的概念2.2 数据模型的种类1.层次模型：2.网状模型：关...

• 2023-07-24

87浏览

0评论

浅谈关系型数据库中的约束及应用场景

目录关系型数据库约束的种类主键约束外键约束唯一约束检查约束默认约束约束的应用场景主键约束外键约束唯一约束检查约束默认约束约束的代码实现主键约束外键约束唯一约束检...

• 2023-07-24

102浏览

0评论

sqlmap之os shell图文详细解析

目录0x00 Background0x01 Environment[0x02 Attack demo（1）环境测试（2）攻击（3）选择语言（4）输入绝对路径（5）建立os-shell并执行命令0x03 Analysis（1）抓包（2）第一个url分析（3）插入数据（4）执行命...

• 2023-07-24

85浏览

0评论

一步步教你使用Navicat工具创建MySQL数据库连接

目录打开navicat数据库可视化工具方式一：方式二：填写数据库连接名和用户名密码，并测试连接总结打开navicat数据库可视化工具提前下载好navicat，可以直接去官网哦，打开navicat工具...

• 2023-07-24

98浏览

0评论

Navicat运行sql文件导入数据不全或导入失败的解决方案

目录前言:解决问题办法:第一:第二:第三:第四: 第五: 第六: 第七: 一、window环境A. 导出.sqlB. 导入.sql二、linux环境A. 导出.sqlB. 导入.sql第八: 总结前言:我们平时想把...

• 2023-07-24

107浏览

0评论

问哭自己lsm 索引原理深入剖析

目录lsm简析提问开始lsm 小结看看与b+tree的区别lsm简析lsm 更像是一种设计索引的思想。它把数据分为两个部分，一部分放在内存里，一部分是存放在磁盘上,内存里面的数据检索方...

• 2023-07-24

59浏览

0评论

Spark SQL小文件问题处理

目录1.1、小文件危害1.2、产生小文件过多的原因1.3、如何解决这种小文件的问题呢？1.3.1、调优参数1.1、小文件危害大量的小文件会影响Hadoop集群管理或者Spark在处理数据时的...

• 2023-07-24

104浏览

0评论

hive内部表和外部表的区别详解

Hive内部表:默认创建的表是内部表。hive完全管理表（元数据和数据）的声明周期，类似于RDBMS的表。当删除表时，他会删除源数据以及表的元数据。Hive外部表：外部表的数据不是Hive拥有...

• 2023-07-24

97浏览

0评论

Dbeaver做数据迁移的详细过程记录

目录1、选择源头数据库的表、鼠标右击、选择导出数据2、在数据转化弹框中，双击 ‘数据库，数据表’ 那一栏3、选择目标数据库，调整字段类型映射关系4、调整字段的映射...

• 2023-07-24

108浏览

0评论

时序数据库VictoriaMetrics源码解析之写入与索引

目录一. 存储格式二. 整体流程三. 写入代码1.入口代码2.写入流程的代码3.写index4. 生成TSID5. 创建index items6. index items存入内存shards一. 存储格式下图是向Victoria...

• 2023-07-24

89浏览

0评论

mysql与MongoDB性能对比，哪个更适合自己

目录一、简单介绍1、关系型数据库-MySQL2、非关系型数据库-MongoDB4、MongoDB优势与劣势4、MongoDB和MySQL的对比（区别介绍）二、 设计思想的不同三、性能四、数据安全性五、事...

• 2023-07-24

68浏览

0评论

Navicat Premium 16最新永久激活教程(NavicatCracker)

目录1.安装Navicat Premium16 （注意版本，这里以此版本为例）；并下载激活工具1.1.NavicatPremium 下载路径：1.2.激活工具：1.2.1百度网盘1.2.2Gitee2.右键【以管理员身份运行】Navica...

• 2023-07-24

64浏览

0评论

关于Hive中的NULL空值处理问题

HIVE表中默认将NULL存为\N，可查看表的源文件（hadoop fs -cat或者hadoop fs -text），文件中存储大量\N，这样造成浪费大量空间。而且用java、python直接进入路径操作源数据时，解析也...

• 2023-07-24

57浏览

0评论

浅谈关系型数据库中如何进行事务管理

目录关系型数据库中的事务管理事务的基本操作事务的隔离级别事务的实现结论关系型数据库中的事务管理在关系型数据库中，事务管理是一项非常重要的功能。它允许数据库管理员在...

• 2023-07-24

87浏览

0评论

常见的SQL优化面试专题大全

目录介绍：问：比如，现在有个面试官说，现在线上有个SQL执行很慢，你怎么优化？问：慢 SQL 语句的几种常见诱因？问：平时写SQL时该注意什么？有什么经验可谈？问：有哪些影响数据库性能的瓶颈？问：改...

• 2023-07-24

99浏览

0评论

将自然语言查询转换为SQL代码的AI工具使用详解

目录介绍功能本地安装使用仓库地址介绍人工智能可以帮助我们实现将自然语言查询和 SQL 代码进行互相转换，这种技术通过自然语言处理（NLP）和机器学习，训练模型来理解和生成自然语...

• 2023-07-24

67浏览

0评论

大数据之Spark基础环境

目录前言一、Spark概述（一）Spark是什么（二）Spark的四大特点（三）Spark的风雨十年（四）Spark框架模块（五）Spark通信框架总结前言本篇文章开始介绍Spark基础知识，包括Spark诞生的背景，应用环...

• 2023-07-24

98浏览

0评论

Hive数据导出详解

目录一、数据导出是什么？二、六大帮派1.insert2.Hadoop命令导出到本地3.Hive shell命令导出4.export导出到HDFS上5.Sqoop导出6.清除表中的数据（Truncate）——删库跑...

• 2023-07-24

110浏览

0评论

快速解决openGauss数据库pg_xlog爆满问题

问题现象最近有一个之前搭的环境登不上了，好久没用想拿来测试的时候发现启动不了。启动时报错：
[Errno 28] No space left on device query也不行了，提示没有空间了。查询磁盘...

• 2023-07-24

65浏览

0评论

Doris实时多维分析的解决方案详解

目录正文限制数据存储结构Aggregate 模型Uniq模型Duplicate 模型数据模型的选择建议前缀索引物化视图（rollup）ROLLUP 调整前缀索引ROLLUP 的几点说明分区和分桶稀疏索引和 Blo...

• 2023-07-24

86浏览

0评论

如何在Navicat新建连接、新建数据库以及导入数据库

目录1. 新建连接2. 新建数据库3. 导入数据库总结 1. 新建连接新建一个MySQL连接：打开Navicat，点击“左上角第一个图标 --> MySQL”。其他的信息都是自动出现的，只需...

• 2023-07-24

91浏览

0评论

一文弄懂数据库设计的三范式

目录写在前面第一范式（1NF）：原子性（存储的数据应该具有“不可再分性”）第二范式（2NF）：唯一性 (消除非主键部分依赖联合主键中的部分字段)（一定要在第一范式已经满足的情况...

• 2023-07-24

59浏览

0评论

关于面试中常问的数据库回表问题

目录什么是回表？为什么需要回表？索引结构两类索引一定会回表吗？那么不用主键索引就一定需要回表吗？扩展什么是回表？为什么需要回表？小伙伴们在面试的时候，有一个特别常见的问题，那就...

• 2023-07-24

90浏览

0评论

使用Navicat导入和导出sql语句的图文教程

创建mysql数据库创建数据库之前，肯定要先连接上数据库，如果不知道怎么使用navicat连接mysql数据库，可以参考之前的文章哦
https://www.jb51.net/article/276970.htm接下来进入...

• 2023-07-24

84浏览

0评论

详解分库分表后非分片键如何查询

目录正文设计一：冗余法方法二：索引表法方法三：基因法小结正文我们知道在分库分表中对于toC业务来说，需要选择用户属性如 user_id 作为分片键，不推荐使用order_id这样的作为分片键...

• 2023-07-24

105浏览

0评论

把Navicat中数据库所有表导出的方法

如何把Navicat中的数据库中的所有表导出导入一个数据库的所有表第一步 打开navicat 找到你想要导出表的数据库第二步 右击该数据库，选择转储SQL文件再选择结构和数据…...

• 2023-07-24

76浏览

0评论

Redis中Hash类型的使用

目录Hash与String比较Hash类型的常见命令（显而易见，在String命令前加入H就是Hash的命令） 1.HSET key field value：添加或修改hash类型key的field的值（实操举例）2.HGET key field...

• 2023-07-24

106浏览

0评论

redis主从切换导致的数据丢失与陷入只读状态故障解决方案

目录背景业务redis高可用架构具体内存扩容流程主从切换后数据丢失原因定位总结背景最近一组业务redis数据不断增长需要扩容内存，而扩容内存则需要重启云主机，在按计划扩容升级...

• 2023-07-24

71浏览

0评论

Redis分布式锁的10个坑总结

目录1. 非原子操作（setnx + expire）2.被别的客户端请求覆盖（ setnx + value为过期时间）3. 忘记设置过期时间4. 业务处理完，忘记释放锁5. B的锁被A给释放了6. 释放锁时，不是原子性7...

• 2023-07-24

73浏览

0评论

redis使用zset实现延时队列的示例代码

目录1、为什么zset可以做消息队列？2、使用的zset命令3、代码实现3.1 消息实体3.2 队列类型3.3 创建消息工具3.4 消费消息最近在使用redis时，就想能不能用其实现消息队列？也在网...

• 2023-07-24

105浏览

0评论

浅谈Redis内存回收策略

目录过期删除策略设置Redis键过期时间过期删除策略Redis 使用的过期删除策略内存淘汰策略 （逐出算法）LFULRU参考Redis的内存回收机制主要体现在以下两个方面：删除到达过期时间...

• 2023-07-24

103浏览

0评论

Redis的键String全面详解

目录String开篇1 字符串键1.1 C语言的字符串实现1.2 Redis的利器，SDS1.3 String In ActionString在分布式锁中的应用总结String开篇在介绍之前，笔者想介绍一下Redis的设计精髓...

• 2023-07-24

99浏览

0评论

一文带你了解Redis的三种集群模式

目录Redis 的三种集群模式主从复制模式哨兵模式Redis-Cluster集群模式小结Redis 的三种集群模式Redis 的常用的集群方式主要有以下三种，分别是主从复制模式、哨兵模式、Redis...

• 2023-07-24

111浏览

0评论

Redis持久化方式之RDB和AOF的原理及优缺点

目录一、Redis 概述二、Redis 的持久化存储方式1. RDB2. AOF三、Redis 持久化存储方式的优缺点1. RDB 的优缺点2. AOF 的优缺点四、RDB 和 AOF 的比较五、总结一、Redis 概...

• 2023-07-24

82浏览

0评论

redis-copy使用6379端口无法连接到Redis服务器的问题

问题描述当使用Azure Redis服务时，需要把一个Redis服务的数据导入到另一个Redis上，因为Redis服务没有使用高级版，所以不支持直接导入/导出RDB文件。以编程方式来读取数据并写入...

• 2023-07-24

70浏览

0评论

关于Redis持久化的深入探究

目录Redis持久化1、为什么需要持久化?2、RDB（Redis Database）2.1 官网介绍2.2 什么是RDB2.3 操作步骤3、AOF（Append Only File）3.1 什么是AOF？3.2 AOF持久化方式3.3 AOF能干嘛？4、...

• 2023-07-24

69浏览

0评论

一篇吃透Redis缓存穿透、雪崩、击穿问题

前言：在学Redis之前我们查询数据的时候都是直接查询数据库的，但是这样会有一个潜在的问题：“如果用户量很大，所有请求都去访问数据库，那么会使数据库压力过大，导致性能下降甚...

• 2023-07-24

97浏览

0评论

SpringBoot整合Mybatis-plus和Redis实现投票功能

目录一、背景介绍二、开发环境三、技术实现1. 配置Redis2. 配置Mybatis-plus3. 实现投票功能四、测试运行五、总结一、背景介绍投票功能是一个非常常见的Web应用场景，SpringB...

• 2023-07-24

98浏览

0评论

Redis底层数据结构SkipList的实现

目录为什么需要 SkipList（跳表）跳表的结构设计跳表的节点（zskiplistNode ）跳表（zskiplist ）跳表的查询过程为什么需要 SkipList（跳表）在普通链表中查找元素的时候，因为需要遍历查找，所...

• 2023-07-24

80浏览

0评论

redis缓存与数据库一致性的问题及解决

目录一、需求起因二、数据不一致原因写流程读流程三、问题解决思路四、总结一、需求起因假设先写数据库，再淘汰缓存：第一步写数据库操作成功，第二步淘汰缓存失败，则会出现DB中是...

• 2023-07-24

107浏览

0评论

Redis慢查询的具体使用

目录什么是Redis慢查询？产生慢查询有哪些原因？如何解决慢查询问题？使用复杂度过高的命令大key问题集中过期总结什么是Redis慢查询？redis的"慢查询"与redis定义慢查询的时间阈值...

• 2023-07-24

71浏览

0评论

Redis 哨兵模式的实现详解

目录高可用（HA）哨兵模式概述哨兵的搭建伪集群 + 哨兵1. 复制sentinel.conf文件2. 修改sentinel.conf文件3. 新建sentinel26380.conf4. 启动并关联Redis集群5. 启动Sentinel集...

• 2023-07-24

98浏览

0评论

一文带你了解Redis中RDB与AOF的区别

目录Redis 中的 RDB 与 AOFRDBAOF小结Redis 中的 RDB 与 AOF我们都知道，Redis 运行时是将数据保存在内存中的，如果服务器宕机或者重启，那么内存中的数据必然会丢失，从而影响正常...

• 2023-07-24

76浏览

0评论

Redis中ziplist压缩列表的实现

目录一 前言二 源码解读2.1 ziplist 布局2.2 entry 节点2.2.1 prelen2.2.2 encoding 编码三 连锁更新四 总结一 前言List 列表是简单的字符串列表，按照插入顺序排序，可以从头...

• 2023-07-24

70浏览

0评论

关于Redis中bitmap的原理和使用详解

目录一、原理二、BitMap 相关命令三、BitMap 空间计算四、使用场景1. 用户签到2. 统计活跃用户（用户登陆情况）3. 统计用户在线状态4. 实现布隆过滤器五、总结一、原理先声明一...

• 2023-07-24

94浏览

0评论

Redis Lua同步锁实现源码解析

目录Redis+Lua同步锁Jedis配置Jedis工具类→获取jedisredis 锁工具类加锁示例(jedis+lua)Redis+Lua同步锁Jedis配置@Configuration@Getter@Setter@Slf4j@ConfigurationP...

• 2023-07-24