目录hive表的源文件存储格式：1、TEXTFILE2、SEQUENCEFILE 3、RCFILE4、ORC5、自定义格式ORC格式方式一：方式二：方式三：hive表的源文件存储格式：1、TEXTFILE默认格式，建表时不指定...

目录1. 数据库系统的发展1.1 人工管理阶段1.2 文件系统阶段1.3 数据库阶段1.4 大数据阶段2 数据库系统的组成2.1 数据模型的概念2.2 数据模型的种类1.层次模型：2.网状模型：关...

目录关系型数据库约束的种类主键约束外键约束唯一约束检查约束默认约束约束的应用场景主键约束外键约束唯一约束检查约束默认约束约束的代码实现主键约束外键约束唯一约束检...

目录0x00 Background0x01 Environment[0x02 Attack demo（1）环境测试（2）攻击（3）选择语言（4）输入绝对路径（5）建立os-shell并执行命令0x03 Analysis（1）抓包（2）第一个url分析（3）插入数据（4）执行命...

目录打开navicat数据库可视化工具方式一：方式二：填写数据库连接名和用户名密码，并测试连接总结打开navicat数据库可视化工具提前下载好navicat，可以直接去官网哦，打开navicat工具...

目录前言:解决问题办法:第一:第二:第三:第四: 第五: 第六: 第七: 一、window环境A. 导出.sqlB. 导入.sql二、linux环境A. 导出.sqlB. 导入.sql第八: 总结前言:我们平时想把...

目录lsm简析提问开始lsm 小结看看与b+tree的区别lsm简析lsm 更像是一种设计索引的思想。它把数据分为两个部分，一部分放在内存里，一部分是存放在磁盘上,内存里面的数据检索方...

目录1.1、小文件危害1.2、产生小文件过多的原因1.3、如何解决这种小文件的问题呢？1.3.1、调优参数1.1、小文件危害大量的小文件会影响Hadoop集群管理或者Spark在处理数据时的...

Hive内部表:默认创建的表是内部表。hive完全管理表（元数据和数据）的声明周期，类似于RDBMS的表。当删除表时，他会删除源数据以及表的元数据。Hive外部表：外部表的数据不是Hive拥有...

目录1、选择源头数据库的表、鼠标右击、选择导出数据2、在数据转化弹框中，双击 ‘数据库，数据表’ 那一栏3、选择目标数据库，调整字段类型映射关系4、调整字段的映射...

目录一. 存储格式二. 整体流程三. 写入代码1.入口代码2.写入流程的代码3.写index4. 生成TSID5. 创建index items6. index items存入内存shards一. 存储格式下图是向Victoria...

目录一、简单介绍1、关系型数据库-MySQL2、非关系型数据库-MongoDB4、MongoDB优势与劣势4、MongoDB和MySQL的对比（区别介绍）二、 设计思想的不同三、性能四、数据安全性五、事...

目录1.安装Navicat Premium16 （注意版本，这里以此版本为例）；并下载激活工具1.1.NavicatPremium 下载路径：1.2.激活工具：1.2.1百度网盘1.2.2Gitee2.右键【以管理员身份运行】Navica...

HIVE表中默认将NULL存为\N，可查看表的源文件（hadoop fs -cat或者hadoop fs -text），文件中存储大量\N，这样造成浪费大量空间。而且用java、python直接进入路径操作源数据时，解析也...

目录关系型数据库中的事务管理事务的基本操作事务的隔离级别事务的实现结论关系型数据库中的事务管理在关系型数据库中，事务管理是一项非常重要的功能。它允许数据库管理员在...

目录介绍：问：比如，现在有个面试官说，现在线上有个SQL执行很慢，你怎么优化？问：慢 SQL 语句的几种常见诱因？问：平时写SQL时该注意什么？有什么经验可谈？问：有哪些影响数据库性能的瓶颈？问：改...

目录介绍功能本地安装使用仓库地址介绍人工智能可以帮助我们实现将自然语言查询和 SQL 代码进行互相转换，这种技术通过自然语言处理（NLP）和机器学习，训练模型来理解和生成自然语...

目录前言一、Spark概述（一）Spark是什么（二）Spark的四大特点（三）Spark的风雨十年（四）Spark框架模块（五）Spark通信框架总结前言本篇文章开始介绍Spark基础知识，包括Spark诞生的背景，应用环...

目录一、数据导出是什么？二、六大帮派1.insert2.Hadoop命令导出到本地3.Hive shell命令导出4.export导出到HDFS上5.Sqoop导出6.清除表中的数据（Truncate）——删库跑...

问题现象最近有一个之前搭的环境登不上了，好久没用想拿来测试的时候发现启动不了。启动时报错：
[Errno 28] No space left on device query也不行了，提示没有空间了。查询磁盘...

目录正文限制数据存储结构Aggregate 模型Uniq模型Duplicate 模型数据模型的选择建议前缀索引物化视图（rollup）ROLLUP 调整前缀索引ROLLUP 的几点说明分区和分桶稀疏索引和 Blo...

目录1. 新建连接2. 新建数据库3. 导入数据库总结 1. 新建连接新建一个MySQL连接：打开Navicat，点击“左上角第一个图标 --> MySQL”。其他的信息都是自动出现的，只需...

目录写在前面第一范式（1NF）：原子性（存储的数据应该具有“不可再分性”）第二范式（2NF）：唯一性 (消除非主键部分依赖联合主键中的部分字段)（一定要在第一范式已经满足的情况...

目录什么是回表？为什么需要回表？索引结构两类索引一定会回表吗？那么不用主键索引就一定需要回表吗？扩展什么是回表？为什么需要回表？小伙伴们在面试的时候，有一个特别常见的问题，那就...

创建mysql数据库创建数据库之前，肯定要先连接上数据库，如果不知道怎么使用navicat连接mysql数据库，可以参考之前的文章哦
https://www.jb51.net/article/276970.htm接下来进入...

目录正文设计一：冗余法方法二：索引表法方法三：基因法小结正文我们知道在分库分表中对于toC业务来说，需要选择用户属性如 user_id 作为分片键，不推荐使用order_id这样的作为分片键...

如何把Navicat中的数据库中的所有表导出导入一个数据库的所有表第一步 打开navicat 找到你想要导出表的数据库第二步 右击该数据库，选择转储SQL文件再选择结构和数据…...

目录Hash与String比较Hash类型的常见命令（显而易见，在String命令前加入H就是Hash的命令） 1.HSET key field value：添加或修改hash类型key的field的值（实操举例）2.HGET key field...

目录背景业务redis高可用架构具体内存扩容流程主从切换后数据丢失原因定位总结背景最近一组业务redis数据不断增长需要扩容内存，而扩容内存则需要重启云主机，在按计划扩容升级...

目录1. 非原子操作（setnx + expire）2.被别的客户端请求覆盖（ setnx + value为过期时间）3. 忘记设置过期时间4. 业务处理完，忘记释放锁5. B的锁被A给释放了6. 释放锁时，不是原子性7...

目录1、为什么zset可以做消息队列？2、使用的zset命令3、代码实现3.1 消息实体3.2 队列类型3.3 创建消息工具3.4 消费消息最近在使用redis时，就想能不能用其实现消息队列？也在网...

目录过期删除策略设置Redis键过期时间过期删除策略Redis 使用的过期删除策略内存淘汰策略 （逐出算法）LFULRU参考Redis的内存回收机制主要体现在以下两个方面：删除到达过期时间...

目录String开篇1 字符串键1.1 C语言的字符串实现1.2 Redis的利器，SDS1.3 String In ActionString在分布式锁中的应用总结String开篇在介绍之前，笔者想介绍一下Redis的设计精髓...

目录Redis 的三种集群模式主从复制模式哨兵模式Redis-Cluster集群模式小结Redis 的三种集群模式Redis 的常用的集群方式主要有以下三种，分别是主从复制模式、哨兵模式、Redis...

目录一、Redis 概述二、Redis 的持久化存储方式1. RDB2. AOF三、Redis 持久化存储方式的优缺点1. RDB 的优缺点2. AOF 的优缺点四、RDB 和 AOF 的比较五、总结一、Redis 概...

问题描述当使用Azure Redis服务时，需要把一个Redis服务的数据导入到另一个Redis上，因为Redis服务没有使用高级版，所以不支持直接导入/导出RDB文件。以编程方式来读取数据并写入...

目录Redis持久化1、为什么需要持久化?2、RDB（Redis Database）2.1 官网介绍2.2 什么是RDB2.3 操作步骤3、AOF（Append Only File）3.1 什么是AOF？3.2 AOF持久化方式3.3 AOF能干嘛？4、...

前言：在学Redis之前我们查询数据的时候都是直接查询数据库的，但是这样会有一个潜在的问题：“如果用户量很大，所有请求都去访问数据库，那么会使数据库压力过大，导致性能下降甚...

目录一、背景介绍二、开发环境三、技术实现1. 配置Redis2. 配置Mybatis-plus3. 实现投票功能四、测试运行五、总结一、背景介绍投票功能是一个非常常见的Web应用场景，SpringB...

目录为什么需要 SkipList（跳表）跳表的结构设计跳表的节点（zskiplistNode ）跳表（zskiplist ）跳表的查询过程为什么需要 SkipList（跳表）在普通链表中查找元素的时候，因为需要遍历查找，所...

目录一、需求起因二、数据不一致原因写流程读流程三、问题解决思路四、总结一、需求起因假设先写数据库，再淘汰缓存：第一步写数据库操作成功，第二步淘汰缓存失败，则会出现DB中是...

目录什么是Redis慢查询？产生慢查询有哪些原因？如何解决慢查询问题？使用复杂度过高的命令大key问题集中过期总结什么是Redis慢查询？redis的"慢查询"与redis定义慢查询的时间阈值...

目录高可用（HA）哨兵模式概述哨兵的搭建伪集群 + 哨兵1. 复制sentinel.conf文件2. 修改sentinel.conf文件3. 新建sentinel26380.conf4. 启动并关联Redis集群5. 启动Sentinel集...

目录Redis 中的 RDB 与 AOFRDBAOF小结Redis 中的 RDB 与 AOF我们都知道，Redis 运行时是将数据保存在内存中的，如果服务器宕机或者重启，那么内存中的数据必然会丢失，从而影响正常...

目录一 前言二 源码解读2.1 ziplist 布局2.2 entry 节点2.2.1 prelen2.2.2 encoding 编码三 连锁更新四 总结一 前言List 列表是简单的字符串列表，按照插入顺序排序，可以从头...

目录一、原理二、BitMap 相关命令三、BitMap 空间计算四、使用场景1. 用户签到2. 统计活跃用户（用户登陆情况）3. 统计用户在线状态4. 实现布隆过滤器五、总结一、原理先声明一...

目录Redis+Lua同步锁Jedis配置Jedis工具类→获取jedisredis 锁工具类加锁示例(jedis+lua)Redis+Lua同步锁Jedis配置@Configuration@Getter@Setter@Slf4j@ConfigurationP...

目录前言使用redis的原因安装二、docker下安装启动Redis容器观察Redis启动效果查看Redis的版本Redis服务器和客户端前言redis会周期性的把更新的数据写入磁盘或者把修改操作...

目录从 RedisObject 说起Redis 数据结构 -- StringString 类型的基本介绍和命令String 类型的底层实现动态字符串（SDS）String 的三种编码方式从 RedisObject 说起在 Redis 中，...

目录Dict 的结构dicthtdicEntrydictDict 的 rehashRedis 如何实现 rehash什么时候进行 rehashrehash 的新 size 是多大?渐进式 rehashrehash 的步骤Dict 优点在于，它能以 O(1...