ios
面试题
安全
maven
numpy
考研
redis
unix
云编程
华为云应用魔方
制图表达
chrome
数维杯
插件的定义和使用
人手检测
ui5
ChatGPT国内
CountDownLatch
数据库架构
B+树
Doris
2024/4/12 8:20:24
Apache Doris 2.0.2 安装步骤 Centos8
Linux 操作系统版本需求
Linux 系统版本当前系统版本CentOS7.1 及以上CentOS8Ubuntu16.04 及以上-
软件需求
软件版本当前版本Java1.81.8.0_391GCC4.8.2 及以上gcc (GCC) 8.5.0 20210514 (Red Hat 8.5.0-4)
1、查看操作系统版本
方法 1：使用命令行
打开终端或…
Doris初识(01)
Doris初识 初识
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景…
Doris的数据模型
Doris 的数据模型主要分为3类：Aggregate、Uniq、Duplicate 1 Aggregate 模型 表中的列按照是否设置了AggregationType，分为 Key（维度列）和 Value（指标列）。没有设置AggregationType的称为 Key，设置了AggregationType的称为Value。 当我们导入数据时，对于Key列相同的行会…
备份doris数据到minio
1、MINIO 设置 创建服务账户，记住ACCESS_KEY和SECRET_KEY 创建Buckets doris 设置region 在首页查看服务ip和端口号 2、创建S3备份库 因为minio是兼容S3协议的，所以可以通过s3协议链接minio。
CREATE REPOSITORY minio WITH S3 ON LOCATION "s3://…
【大数据 - Doris 实践】数据表的基本使用（三）：数据模型
数据表的基本使用（三）：数据模型 1.Aggregate 模型1.1 例一：导入数据聚合1.2 例二：保留明细数据1.3 例三：导入数据与已有数据聚合 2.Uniq 模型3.Duplicate 模型4.数据模型的选择建议5.聚合模型的局限性 Dori…
记-从Doris大表整成csv文件到本地的过程
任务明细
任务是需要同步服务器上的一张大表里面的数据整理成csv的方式到本地，表数据量1.7个亿。
跑数
因为vpn连接公司内网不稳定，故使用公司服务器跑数 因为数据量和csv大小不成线性关系，更像指数递增，故切分为小文件来做
代…
Doris 数据导入一：Broker Load 方式
1.Doris导入数据的方式总结 导入（Load）功能就是将用户的原始数据导入到 Doris 中。导入成功后，用户即可通过 Mysql 客户端查询数据。为适配不同的数据导入需求，Doris 系统提供了6种不同的导入方式。每种导入方式支持不同的数据源，存在不同的使用方式（异步，同步）。 所有…
Apache Doris (四十六）： Doris数据更新与删除 - 批量删除
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频 目录
Doris学习笔记之备份与恢复
文章目录简要原理说明备份快照及快照上传元数据准备及上传恢复在本地创建对应的元数据本地snapshot下载快照生效快照最佳实践备份数据迁移重点说明备份创建一个远程仓库路径执行备份查看备份任务查看远程仓库镜像取消备份恢复使用语法使用示例示例1示例2查看恢复任务取消恢复删…
Apache Doris (六十一）： Spark Doris Connector - (1)-源码编译
🏡 个人主页：IT贫道-CSDN博客 🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~ 🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频 目录
1. Spark Doris Connector
大数据Doris（四十五）：物化视图选择最优
文章目录
物化视图选择最优 物化视图选择最优
下面详细解释一下第一步最优物化视图是被如何选择出来的。 这里分为两个步骤： 对候选集合进行一个过滤。只要是查询的结果能从物化视图数据计算（取部分行，部分列，或部分行列的聚合）出都可以留在候选集中，过滤完成后候选集合…
Doris学习笔记之介绍、编译安装与部署
文章目录介绍概述架构FE （Frontend）BE （Backend）MySQL ClientBroker编译安装安装docker通过docker编译部署注意事项部署部署FE部署BEFS_Broker介绍
概述
Apache Doris由百度大数据部研发（之前叫百度Palo，…
Doris学习笔记之监控
文章目录背景PrometheusGrafana背景
Doris可以使用Prometheus和Grafana进行监控和采集，官网下载最新版即可。
Prometheus官网下载：https://prometheus.io/download/；Grafana官网下载：https://grafana.com/grafana/download。
D…
Doris 数仓使用规范（经验版）
第一部分：字符集规范
【强制】数据库字符集指定utf-8，并且只支持utf-8。
命令规范
【建议】库名统一使用小写方式，中间用下划线（_）分割，长度62字节内【建议】表名称大小写敏感，统一使用小写方…
Doris学习--1、Doris简介、操作Doris、Doris架构（数据模型）
星光下的赶路人star的个人主页 心之所向，剑之所往 文章目录 1、Doris简介1.1 快速开始1.2 安装配置1.2.1 应知前提1.2.2 配置Doris1.2.2.0 配置前提1.2.2.1 配置FE（Frontend）1.2.2.2 启动FE1.2.2.3 连接FE1.2.2.4 停止FE1.2.2.5 配置BE&#…
Apache Doris (五十）： Doris表结构变更-动态分区(2)
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频 目录
![[Doris] Doris的安装和部署 (二)](https://img-blog.csdnimg.cn/direct/ca706b5818654115af0ee6daac0a7097.png)
[Doris] Doris的安装和部署 (二)
文章目录 1.安装要求1.1 Linux操作系统要求1.2 软件需求1.3 注意事项1.4 内部端口 2.集群部署2.1 操作系统安装要求2.2 下载安装包2.3 解压2.4 配置FE2.5 配置BE2.6 添加BE2.7 FE 扩容和缩容2.8 Doris 集群群起脚本 3.图形化 1.安装要求
1.1 Linux操作系统要求 1.2 软件需求 1…
Doris 数据模型—Aggregate 模型
Doris 数据模型—Aggregate 模型 文章目录 Doris 数据模型—Aggregate 模型基本概念Aggregate 模型示例1：导入数据聚合示例2：保留明细数据示例3：导入数据与已有数据聚合Aggregate 模型限制Aggregate 模型使用场景本文主要从逻辑层面，描述 Doris 的数据模型，以帮助用户更好…
Apache Doris (五十三）： Doris Join类型 - Shuffle Join
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频 目录
1. shuffle Join的原理
Doris学习笔记之数据的导入导出
文章目录数据导入Broker导入适用场景基本原理基本语法Label数据描述类参数导入作业参数导入示例查看导入取消导入Stream导入适用场景基本原理基本语法导入示例取消导入Routine导入适用场景基本原理基本语法Kafka导入示例查看导入作业状态修改作业属性作业控制其他说明例行导入作…
Doris集成Spark读写的简单示例
Doris集成Spark读写的简单示例 文章目录Doris集成Spark读写的简单示例0、写在前面1、Spark Doris Connector介绍2、基本示例2.1 提前准备表和数据2.2 新建项目2.3 使用SQL方式进行读写2.3.1 代码2.3.2 相关Error2.4 使用DataFrame方式读写数据（**batch**）…
Doris：StreamLoad导入数据
目录
1.基本原理
2.支持数据格式
3.StreamLoad语法
3.1.请求参数
3.2.返回参数
4.StreamLoad实践
4.1.使用 curl命令
4.2.使用Java代码 Stream load 是一个同步的导入方式，用户通过发送 HTTP 协议发送请求将本地文件或数据流导入到 Doris 中。Stream load 主…
Apache Doris 详细教程（一）
1、Doris简介
1.1、doris概述
Apache Doris 由百度大数据部研发（之前叫百度 Palo，2018 年贡献到 Apache 社区后，
更名为 Doris ），在百度内部，有超过 200 个产品线在使用，部署机器超过 1000 台…
Apache Doris (六十四）： Flink Doris Connector - (1)-源码编译
🏡 个人主页：IT贫道-CSDN博客 🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~ 🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频 目录
1. Flink与Doris版本兼容
Doris 数据模型—Unique 模型
Doris 数据模型—Unique 模型 文章目录 Doris 数据模型—Unique 模型读时合并（与聚合模型相同的实现方式)写时合并总结在1.2版本之前，该模型本质上是聚合模型的一个特例，也是一种简化的表结构表示方式。 由于聚合模型的实现方式是读时合并（merge on read)，因此在一些聚合查…
生态扩展Spark Doris Connector
生态扩展Spark Doris Connector doris官网去查找相匹配的spark
spark的安装：
tar -zxvf spark-3.1.2-bin-hadoop3.2.tgzmv spark-3.1.2-bin-hadoop3.2 /opt/sparkspark环境配置：vim /etc/profile
export SPARK_HOME/opt/spark
export PATH$PATH:$SPAR…
Doris学习笔记之数据表的创建
文章目录创建用户和数据库基本概念Row & ColumnPartition & Tablet建表示例基本语法字段类型示例Range分区List分区数据划分列定义分区与分桶Partition分区Range 分区Partition 指定范围的方式List 分区Bucket使用复合分区的场景多列分区Range分区List分区PROPERTIESre…
Doris学习笔记之查询
文章目录查询设置增大内存修改超时时间查询重试和高可用代码方式JDBC连接器ProxySQL方式简单查询基本查询联合（join）查询子查询Join查询广播Join默认使用 Broadcast Join显式使用 Broadcast Join混洗JoinColocation Join原理Colocation Group（…
doris的be其中失败的原因
doris的be其中失败的原因 修改limits文件
vim /etc/security/limits.conf1在文件的末尾处添加或者修改
* soft nofile 204800
* hard nofile 204800
* soft nproc 204800
* hard nproc 204800vim /etc/sysctl.conf#添加
fs.file-max 6553560 vm.max_map_count 2000000 1 2…
Doris数仓开发规范
文章目录 一、字符集规范二、建表规范三、数据变更规范四、数据查询规范结尾 一、字符集规范
【强制】数据库字符集指定utf-8，并且只支持utf-8。 二、建表规范
【建议】库名统一使用小写方式，中间用下划线（_）分割，长…
Apache Doris 在某工商信息商业查询平台的湖仓一体建设实践
本文导读： 信息服务行业可以提供多样化、便捷、高效、安全的信息化服务，为个人及商业决策提供了重要支撑与参考。本文以某工商信息商业查询平台为例，介绍其从传统 Lambda 架构到基于 Doris Multi-Catalog 的湖仓一体架构演进历程。同时通过一…
Doris的执行计划生成、分发与执行
目录
一、执行计划的生成
二、执行计划的分发
三、执行计划的执行 一、执行计划的生成
在Doris的FE端，与大多数数据库系统一样，要从SQL或某种http请求，生成执行计划，从SQL生成，一开始是“抽象语法树”（…
【实操记录】Oracle数据整库同步至Apache Doris
本文是Oracle数据整库同步至Apache Doris实操记录，仅供参考
参考：https://cn.selectdb.com/blog/104
1、Oracle 配置
[rootnode1 oracle]# pwd
/u01/app/oracle
[rootnode1 oracle]# mkdir recovery_area
[rootnode1 oracle]# chown -R oracle:dba re…
Apache Doris (四十二）： RECOVER数据删除恢复
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频 目录
文本检索性能提升 40 倍，Apache Doris 倒排索引深度解读
在 OLAP 领域，Apache Doris 已成为高性能、高并发以及高时效性的代名词。在面向海量数据的复杂查询需求时，除硬件配置、集群规模、网络带宽等因素外，提升性能的核心在于如何最大程度地降低 SQL 执行时的 CPU、内存和 IO 开销，而这…
Apache Doris (六十三）： Spark Doris Connector - (3)-配置型及列映射关系
🏡 个人主页：IT贫道-CSDN博客 🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~ 🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频 目录
1. Spark 操作Doris配置项
Apache Doris (四十五）： Doris数据更新与删除 - Sequence 列
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频 目录
1. 基本原理
CentOS7安装部署Doris
文章目录 CentOS7安装部署Doris一、前言1.简介2.环境 二、正文1.Doris基础1）架构图2）通讯端口 2.部署服务器3.安装基础环境1）安装JDK 112）安装GCC3）设置文件句柄数4）关闭交换分区（swapÿ…
Doris 编译报错 CMake 3.1 or higher is required. You are running version 2.8.12.2
下载 文件
https://github.com/Kitware/CMake/releases/tag/v3.27.8安装方式1：
sh cmake-3.27.8-linux-x86_64.sh 一步步操作就行,最后会生成一个安装目录
将bin目录下的cmake拷贝到 /usr/bin/cmake和/usr/lib64/cmake目录下 安装方式2： 解压 cmake-3…
Apache Doris (五十九）： Doris - BITMAP精准去重
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频 目录
Apache Doris (五十四）： Doris Join类型 - Bucket Shuffle Join
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频 目录
doris基本操作，03-导入数据-Broker Load
简述
Broker load 是异步导入方式，支持的数据源取决于 Broker 进程支持的数据源。
因为 Doris 表里的数据是有序的，所以 Broker load 在导入数据的时是要利用doris 集群资源对数据进行排序，相对于 Spark load 来完成海量历史数据迁移&#…
Doris：读取Doris数据的N种方法
目录
1.MySQL Client
2.JDBC
3. 查询计划
4.Spark Doris Connector
5.Flink Doris Connector 1.MySQL Client Doris 采用 MySQL 协议，高度兼容 MySQL 语法，支持标准 SQL，用户可以通过各类客户端工具来访问 Doris。登录到doris服务器后&a…
![[实战系列]SelectDB Cloud Flink Connector 最佳实践](https://img-blog.csdnimg.cn/ce71b59848b3423bb570c64185bfe9f1.png)
[实战系列]SelectDB Cloud Flink Connector 最佳实践
概述
随着云基础设施的不断完善，云原生已经成为各行业数字化转型的必选项，越来越多的应用开始进行云原生化架构升级和应用迁移。
而云原生实时数仓的出现，让传统的数据仓库无论是成本、灵活性还是开放性等方面都显露出不足。拥有高性能、高…
doris--Apache Doris 1.1.0编译过程记录
1. docker的安装
docker安装过程参考：https://docs.docker.com/engine/install/centos/
安装前，确保网络畅通，确保登录了root账号，或者具有root权限的账号。 查看当前centos系统的内核版本 uname -r当前centos内核版本必须要高于…
【Apache Doris】周FAQ集锦：第 2 期
【Apache Doris】周FAQ集锦：第 2 期 SQL问题数据操作问题运维常见问题其它问题关于社区 欢迎查阅本周的 Apache Doris 社区 FAQ 栏目！ 在这个栏目中，每周将筛选社区反馈的热门问题和话题，重点回答并进行深入探讨。旨在为广大用户和…
Spark Doris Connector 可以支持通过 Spark 读取 Doris 数据类型不兼容报错解决
1、版本介绍：
doris版本： 1.2.8Spark Connector for Apache Doris 版本： spark-doris-connector-3.3_2.12-1.3.0.jar:1.3.0-SNAPSHOTspark版本：spark-3.3.1
2、Spark Doris Connector
Spark Doris Connector - Apache Doris
目…
kyuubi 接入starrocks | doris
kyuubi 接入starrocks
一、环境
Hadoop集群
组件版本Hadoop3.1.1spark3.Xzookeeper3.XHive3.X
kyuubi 版本 1.7.1 starrocks 2.X 已将kyuubi部署到yarn上，并且接入了spark3引擎，并通过Ambari进行kyuubi组件的管理，下面步骤为新增对sta…
【Apache Doris】周FAQ集锦：第 1 期
【Apache Doris】周FAQ集锦：第 1 期 SQL问题数据操作问题运维常见问题其它问题关于社区 欢迎查阅本周的 Apache Doris 社区 FAQ 栏目！ 在这个栏目中，每周将筛选社区反馈的热门问题和话题，重点回答并进行深入探讨。旨在为广大用户和…
【大数据】Doris 架构
Doris 架构 Doris 的架构很简洁，只设 FE（Frontend）、BE（Backend）两种角色、两个进程，不依赖于外部组件，方便部署和运维，FE、BE 都可线性扩展。 ✅ Frontend（FE࿰…
Doris：多源数据目录（Multi-Catalog）
目录
1.基本概念
2.基本操作
2.1 查看 Catalog
2.2 新增 Catalog
2.3 切换 Catalog
2.4 删除 Catalog
3.元数据更新
3.1手动刷新
3.2定时刷新
3.3自动刷新
4.JDBC Catalog
4.1 上传mysql驱动包
4.2 创建mysql catalog
4.3. 读取mysql数据 1.基本概念 …
DataX DorisWriter 插件DorisStreamLoadObserver类详细解读
DorisStreamLoadObserver 类是一个用于将数据加载到 Doris（以前称为 Palo）数据库中并监视加载过程的 Java 类。该类提供了一组方法，用于构建 HTTP 请求、处理 HTTP 响应以及监控数据加载的状态。以下是每个方法的具体作用：
Doris…
Doris 集成 ElasticSearch
Doris-On-ES将Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合，提供更完善的OLAP分析场景解决方案： （1）ES中的多index分布式Join查询 （2）Doris和ES中的表联合查询，更复杂的全文检索过滤 1 原理 （1）创建ES外表后，FE会请求建表指定的主机，获取所有…
Apache Doris (四十四）： Doris数据更新与删除 - Delete 数据删除
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频 目录
Doris的分区表和分桶表
1 列定义 以AGGREGATE KEY数据模型为例进行说明。更多数据模型参阅Doris数据模型。 列的基本类型，可以通过在mysql-client中执行HELP CREATE TABLE; 查看。 AGGREGATE KEY数据模型中，所有没有指定聚合方式（SUM、REPLACE、MAX、MIN）的列视为Key列。而其余则为Value列。 定义…
【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计
本系列包含：
Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读Doris 构建实时数仓落地方案详解（三）&#…
Doris 案例篇——长安汽车基于 Doris 的车联网数据分析平台建设实践
Doris 案例篇——长安汽车基于 Doris 的车联网数据分析平台建设实践
随着消费者更安全、更舒适、更便捷的驾驶体验需求不断增长，汽车智能化已成必然趋势。长安汽车智能化研究院作为长安汽车集团有限责任公司旗下的研发机构，专注于汽车智能化技术的创新与研究。为满足各业务部…
推荐：一个不错的介绍Apache Doris的PPT
原来Apache Doris居然是百度开源出来的，不错。部分节选：完整下载地址网盘： 链接: https://pan.baidu.com/s/18WR70R_f72GxCjh0lykStQ 提取码: umd3 复制这段内容后打开百度网盘手机App，操作更方便哦 --来自百度网盘超级会员v7的分…
Doris 数据导入二：Stream Load 方式
Stream load 是一个同步的导入方式，用户通过发送 HTTP 协议发送请求将本地文件或数据流导入到 Doris 中。Stream load 同步执行导入并返回导入结果。用户可直接通过请求的返回体判断本次导入是否成功。 1 适用场景 Stream load 主要适用于导入本地文件，或通过程序导入数据流中…
【大数据 - Doris 实践】数据表的基本使用（二）：数据划分
数据表的基本使用（二）：数据划分 1.列定义2.分区与分桶2.1 Partition2.1.1 Range 分区2.1.2 List 分区 2.2 Bucket2.3 使用复合分区的场景 3.PROPERTIES3.1 replication_num3.2 storage_medium3.3 storage_cooldown_time 4.ENGINE 1.列定义
列…
使用navicat来访问doris
访问Doris的UI
http:// dorisfe_ip:8030 由于doris是使用mysql协议，因此可以不用任何额外配置就可以使用navicat访问doris。 可以使用MySql客户端来连接Doris FE，也可以使用mysql命令工具连接，因为他是Mysql协议，所以在使用上跟M…
Doris：MySQL数据同步到Doris的N种方式
目录
1.CSV文件方式
1.1 导出mysql数据
1.2 导入数据
2.JDBC 编码方式
3.JDBC Catalog 方式
3.1 上传mysql驱动包
3.2 创建mysql catalog
3.3. 插入数据
4.Binlog Load 方式 1.CSV文件方式 当mysql与doris服务之间无法通过网络互联时，可以通过将mysql数据导…
Apache Doris (五十二）： Doris Join类型 - Broadcast Join
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频 目录
1. Broadcast Join原理
【大数据 - Doris 实践】数据表的基本使用（四）：动态分区
数据表的基本使用（四）：动态分区 1.原理2.使用方式3.动态分区规则参数3.1 主要参数3.2 创建历史分区的参数3.3 创建历史分区规则3.4 创建历史分区举例3.5 注意事项 4.示例4.1 创建动态分区表4.2 查看动态分区表调度情况4.3 查看表的分区4.4 插…
doris基本操作，01-创建表，插入数据
创建表
-- 创建表 --
create table t001 {siteid int default 0,citycode smallint,username varchar(32) default ,-- 预聚合 --pv bigint sum default 0
}
-- 预处理用的，插入相同siteid, citycode, username的记录不会新增行，而将sum的pv增加 --
agg…
BE节点经常挂掉：[IO_ERROR]failed to list /proc/27349/fd/: No such file or directory
最近BE节点经常挂掉
Caused by: java.lang.RuntimeException: Failed to execute internal SQL. org.apache.doris.common.UserException: errCode 2, detailMessage There is no scanNode Backend available.[10031: not alive] OriginStatement{originStmtSELECT * FROM _…
使用Apache Doris自动同步整个 MySQL/Oracle 数据库进行数据分析
Flink-Doris-Connector 1.4.0 允许用户一步将包含数千个表的整个数据库（MySQL或Oracle ）摄取到Apache Doris（一种实时分析数据库）中。
通过内置的Flink CDC，连接器可以直接将上游源的表模式和数据同步到Apache Doris&…
Spark写数据到Doris报错node and exceeded the max retry times
用spark dataframe向doris写数据时，报下面错误：
Failed to load data on BE: http://192.168.50.10:18040/api/mydb/dwd_virtual_table/_stream_load? node and exceeded the max retry times.
发现表没写入成功。刚开始很困惑，后来发现是…
亿级大表毫秒关联，荔枝微课基于Apache Doris 统一实时数仓建设实践
本文导读： Apache Doris 助力荔枝微课构建了规范的、计算统一的实时数仓平台，目前 Apache Doris 已经支撑了荔枝微课内部 90% 以上的业务场景，整体可达到毫秒级的查询响应，数据时效性完成 T1 到分钟级的提升，开发效率更…
一文看懂Doris数据模型（含样例，建议收藏）
1、三种模型场景说明总结
模型应用场景说明Duplicate（重复）适用于那些需要完全保留原始导入数据的场景，即使两行数据完全相同也会保留。适用于既没有聚合需求，又没有主键唯一性约束的原始数据。这种模型在处理那些需要保留原始数…
Doris的基本概述
目录 Doris是什么
使用场景
技术概述 Doris是什么
由百度大数据部研发，之前加做百度palo，20118年共享到Apache社区后，更名Doris一个现代化的MPP分析型数据库产品 支持压秒级别响应架构非常简洁，易于运维支持10PB以上的超大数据…
Doris表的动态分区
动态分区是在Doris 0.12版本中引入的新功能。旨在对表级别的分区实现生命周期管理（TTL），减少用户的使用负担。 目前实现了动态添加分区及动态删除分区的功能。动态分区只支持Range分区。 1 原理 在某些使用场景下，用户会将表按照天进行分区划分，每天定时执行例行任务，这时…
flinkcdc 3.0 尝鲜
本文会将从环境搭建到demo来全流程体验flinkcdc 3.0 包含了如下内容 flink1.18 standalone搭建doris 1fe1be 搭建整库数据同步测试各同步场景从检查点重启同步任务 环境搭建
flink环境(Standalone模式)
下载flink 1.18.0 链接 : https://archive.apache.org/dist/flink/flink…
Apache Doris 1.2.3 Release 版本正式发布
亲爱的社区小伙伴们，我们很高兴地宣布，Apache Doris 于 2023 年 3 月 20 日迎来 1.2.3 Release 版本的正式发布！在新版本中包含超过 200 项功能优化和问题修复。同时，1.2.3 版本作为 1.2 LTS 的迭代版本，更加稳定易用&…
【大数据】Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读
Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读 1.Doris 发展历程2.Doris 三大模型3.Doris 数据导入4.Doris 多表关联5.Doris 核心设计6.Doris 查询优化7.Doris 应对实时数仓的痛点 1.Doris 发展历程
Apache Doris 是由 百度 研发并…
Doris集群的安装部署
目录
安装与部署
软硬件配置
1、机器选择
2、软件选择
3、环境信息修改和部署架构
4、安装部署Doris
5、启动FE
6、在FE节点启动MySQL客户端
7、在BE节点启动be
8、查看BE状态
8、查看FE状态是否正常
WEBUI
官方建议 安装与部署
该文档主要介绍了部署 Doris 所…
Doris安装使用（基于Doris 2.0.6）
第 1 章Doris简介
1.1、 Doris 概述
Apache Doris由百度大数据部研发（之前叫百度 Palo，2018年贡献到 Apache 社区后，更名为 Doris），在百度内部，有超过200个产品线在使用，部署机器超过1000台…
Flink CDC 同步数据到Doris
Flink CDC 同步数据到Doris
Flink CDC 是基于数据库日志 CDC（Change Data Capture）技术的实时数据集成框架，支持了全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等高级特性。配合 Flink 优秀的管道能力和丰富的上下游生态，Flink CDC 可以高效实现海量…
Apache Doris 快速入门
1. 基本概念 FE，Frontend，前端节点，接收用户查询请求，SQL解析，执行计划生成，元数据管理，节点管理等 BE，Backend，后端节点，数据存储，执行查询计划…
Doris的3种数据模型详解和数据仓库每一层的模型选用
Apache Doris是一个用于离线数据仓库开发的分布式SQL查询和分析引擎。在使用Doris进行离线数据仓库开发时，可以采用三种不同的数据模型：Duplicate模型、Aggregate模型和Unique模型。每种模型都有其适用的场景和特点，同时也对于不同层次的数据仓库有着不同的使用建议。
Dupl…
Apache Doris 冷热分层技术如何实现存储成本降低 70%？
在数据分析的实际场景中，冷热数据往往面临着不同的查询频次及响应速度要求。例如在电商订单场景中，用户经常访问近 6 个月的订单，时间较久远的订单访问次数非常少；在行为分析场景中，需支持近期流量数据的高频查询且时效…
Doris 数据集成 Catalog
Doris 数据集成 Catalog
多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
在之前的 Doris 版本中，用户数据只有两个层级：Database 和 Table。当我们需要连接一个外部数据目录时，我们只能在Database 或 …
doris docker环境编译部署
1.准备doris docker环境
xiuchenggongxiuchengdeMacBook-Pro bin % docker pull apache/doris:build-env-ldb-toolchain-latestbuild-env-ldb-toolchain-latest: Pulling from apache/doris
eeedae70be19: Pull complete
a3ed95caeb02: Pull complete
Digest: sha256:63d9a9…
Apache Doris 数据建模之 Aggregate Key 模型
了解 Doris 数据模型对于我们使用 Doris 来解决我们业务问题非常重要，这个系列我们将详细介绍 Doris 的三种数据模型及 Doris 数据分区分桶的一些策略，帮助用户更好的使用 Doris 。
这个系列我会讲解 Doris 的三种数据模型及在这三种数据模型之上的 Rol…
手把手教你快速在生产环境搭建Doris集群
手把手教你快速在生产环境搭建Doris集群
一、部署规划
组件分布规划
节点node4node5node6node7node8Node9Node10Node11服务FE（follower）BEFE（follower）BEFE（follower）BEFE（observerÿ…
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
背景介绍
Apache Doris是一个基于MPP架构的易于使用，高性能和实时的分析数据库，以其极高的速度和易用性而闻名。海量数据下返回查询结果仅需亚秒级响应时间，不仅可以支持高并发点查询场景，还可以支持高通量复杂分析场景。
这些都…
Apache Doris (四十八）： Doris表结构变更-替换表
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频 目录
Doris DDL和DML
1 创建用户和数据库 1）创建test用户 mysql -h hadoop1 -P 9030 -uroot -p create user test identified by test; 2）创建数据库 create database test_db; 3）用户授权
【flink】基于flink全量同步postgres表到doris
在不借助第三方组件的进行数据同步时，doris支持采用外部表进行insert select的方式进行导入，但是不适用于数据量大的表，除非自己手动做分片进行多次导入 。
flink提供了doris connector进行数据写入，实际是stream load方式&#…
Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门
1.概览
多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
在之前的 Doris 版本中，用户数据只有两个层级：Database 和 Table。当我们需要连…
使用navicat导出mysql离线数据后，再导入doris的方案
一、背景
doris本身是支持直接从mysql中同步数据的，但有时候，客户不允许我们使用doris直连mysql，此时就需要客户配合将mysql中的数据手工导出成离线文件，我们再导入到doris中
二、环境
doris 1.2
三、方案
doris支持多种导入…
Flink实时电商数仓之Doris框架（七）
Doris框架
大规模并行处理的分析型数据库产品。使用场景：一般先将原始数据经过清洗过滤转换后，再导入doris中使用。主要实现的功能有：
实时看板 面向企业内部分析师和管理者的报表面向用户或者客户的高并发报表分析 即席查询统一数仓构建&a…
Apache Doris (四十）： BACKUP数据备份
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频 目录
Doris 与 Clickhouse 对比（一）
1. 常用引擎
☕️ Doris 表数据模型
duplicate key
🎬 场景：适用于数据无需提前聚合的分析业务。
⚠️ 注意点：只指定排序列，相同的行并不会合并。
unique key
🎬 场景：适用于有更新需求的业务。
⚠…
Doris 数据导出方式总结
1 Export导出 数据导出是Doris提供的一种将数据导出的功能。该功能可以将用户指定的表或分区的数据以文本的格式，通过Broker进程导出到远端存储上，如HDFS/BOS等。 1.1 基本原理 用户提交一个 Export 作业后。Doris 会统计这个作业涉及的所有 Tablet。然后对这些 Tablet 进行分…
Apache Doris (三十九）：Doris数据导出 - MySQL dump导出
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频 目录
Apache Doris (六十二）： Spark Doris Connector - (2)-使用
🏡 个人主页：IT贫道-CSDN博客 🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~ 🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频 目录
1. 将编译jar包加入本地Maven仓库
Apache Doris (六十九）：JDBC Catalog
🏡 个人主页：IT贫道-CSDN博客 🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~ 🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频 目录
1. 创建Catalog
【大数据 - Doris 实践】数据表的基本使用（一）：基本概念、创建表
数据表的基本使用（一）：基本概念、创建表 1.创建用户和数据库2.Doris 中数据表的基本概念2.1 Row & Column2.2 Partition & Tablet 3.建表实操3.1 建表语法3.2 字段类型3.3 创建表3.3.1 Range Partition3.3.2 List Partition 1.创建用…
Apache Doris 入门 10 问
基于 Apache Doris 在读写流程、副本一致性机制、 存储机制、高可用机制等方面的常见疑问点进行梳理，并以问答形式进行解答。在开始之前，我们先对本文相关的名词进行解释： FE：Frontend，即 Doris 的前端节点。主要负责接…
Apache Doris (五十一）： Doris数据缓存
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频 目录
1.
Doris Hive外表
Hive External Table of Doris 提供了 Doris 直接访问 Hive 外部表的能力，外部表省去了繁琐的数据导入工作，并借助 Doris 本身的 OLAP 的能力来解决 Hive 表的数据分析问题： 支持 Hive 数据源接入Doris支持 Doris 与 Hive 数据源中的表联合查询，进行更加复杂的分析操作1 基…
【大数据 - Doris 实践】数据表的基本使用（五）：ROLLUP
数据表的基本使用（五）：ROLLUP 1.基本概念2.Aggregate 和 Uniq 模型中的 ROLLUP2.1 获得每个用户的总消费2.2 获得不同城市，不同年龄段用户的总消费、最长和最短页面驻留时间 3.Duplicate 模型中的 ROLLUP3.1 前缀索引3.2 ROLLUP 调…
Doris配置MySQL jdbc catalog信息不同步问题解决方案
Doris客户端
mysql -h 127.0.0.1 -P 9030 -uroot -p1.创建MySQL catalog
mysql> CREATE CATALOG jdbc_mysql PROPERTIES (-> "type"="jdbc",-> "user"
DataEase local 模式升级 Doris
1 场景说明
如果你安装的 DataEase v1.18.7 之前的版本，安装包自带的 Doris 版本是 1.1.0，该版本的 Doris 存在一些缺陷，升级 DataEase 版本 Doris 并不会自动升级，如果要升级 Doris，需要手动进行。以下是升级 Doris …
生态扩展：Flink Doris Connector
生态扩展：Flink Doris Connector
官网地址： https://doris.apache.org/zh-CN/docs/dev/ecosystem/flink-doris-connector flink的安装：
tar -zxvf flink-1.16.0-bin-scala_2.12.tgz
mv flink-1.16.0-bin-scala_2.12.tgz /opt/flinkflink环境…
怎么使用 Flink 向 Apache Doris 表中写 Bitmap 类型的数据
Bitmap是一种经典的数据结构，用于高效地对大量的二进制数据进行压缩存储和快速查询。Doris支持bitmap数据类型，在Flink计算场景中，可以结合Flink doris Connector对bitmap数据做计算。
社区里很多小伙伴在是Doris Flink Connector的时候&…
2023-07-04 duckdb-数据push模型及pipeline模型-与Doris2.0的pipeline执行模型-思考
摘要:
duckdb数据库中比较有特点就是区别于火山模型的自上而下pull数据的, 自底向上将数据push的模型, 同时对操作符或者说算子的处理做了基于多线程的pipeline, 这样在对多核cpu的利用率被提升。
最近看到Doris2.0对于查询性能的提升的设计思路, 与duckdb的做法简直是一样, …
Apache Doris 如何基于自增列满足高效字典编码等典型场景需求
自增列（auto_increment）是数据库中常见的一项功能，它提供一种方便高效的方式为行分配唯一标识符，极大简化数据管理的复杂性。当新行插入到表中时，数据库系统会自动选取自增序列中的下一个可用值，并将其分配…
doris安装（docker方式）
背景
doris有两个进程 fe，处理用户请求，查询，元数据管理，节点管理be，数据存储，查询计划执行 架构图如下： 参考：https://doris.apache.org/zh-CN/docs/get-starting/what-is-apache-doris 1、定义docker-compose文件
version: 3
services:docker-fe:image: "apac…
一键实现 Oracle 数据整库同步至 Apache Doris
在实时数据仓库建设或迁移的过程中，用户必须考虑如何高效便捷将关系数据库数据同步到实时数仓中来，Apache Doris 用户也面临这样的挑战。而对于从 Oracle 到 Doris 的数据同步，通常会用到以下两种常见的同步方式：
OGG/XStream/Lo…
Apache Doris 整合 FLINK 、 Hudi 构建湖仓一体的联邦查询入门
1.概览
多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。
在之前的 Doris 版本中，用户数据只有两个层级：Database 和 Table。当我们需要连…
大数据Doris（十七）：关于 Partition 和 Bucket 的数量和数据量的建议
文章目录
关于 Partition 和 Bucket 的数量和数据量的建议 关于 Partition 和 Bucket 的数量和数据量的建议 一个表的 Tablet 总数量等于 (Partition num * Bucket num)。一个表的 Tablet 数量，在不考虑扩容的情况下，推荐略多于整个集群的磁盘数量。单个 Tablet 的数据量理论…
Apache Doris (四十七）： Doris表结构变更-Schema变更
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频 目录
Apache Doris 行列转换可以这样玩
行列转换在做报表分析时还是经常会遇到的，今天就说一下如何实现行列转换吧。
行列转换就是如下图所示两种展示形式的互相转换
1. 行转列
我们来看一个简单的例子，我们要把下面这个表的数据，转换成图二的样式 image-20230914151818953.png …
Doris节点扩容及数据表
扩容和缩容
上篇文章简单讲了doris的安装，本章分享的是doris中fe和be节点的扩容缩容以及doris的数据表1、FE 扩容和缩容
使用 MySQL 登录客户端后，可以使用 sql 命令查看 FE 状态，目前就一台 FE
mysql -h linux -P 9030 -uroot -p
mysql&…
(一)、Doris安装使用（基于Doris 2.0.6）
第 1 章Doris简介
1.1、 Doris 概述
Apache Doris由百度大数据部研发（之前叫百度 Palo，2018年贡献到 Apache 社区后，更名为 Doris），在百度内部，有超过200个产品线在使用，部署机器超过1000台…
Apache Doris (四十三）： Doris数据更新与删除 - Update数据更新
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频 目录
1. Update数据更新原理
【大数据】Doris：基于 MPP 架构的高性能实时分析型数据库
Doris：基于 MPP 架构的高性能实时分析型数据库 1.Doris 介绍
Apache Doris 是一个基于 MPP（Massively Parallel Processing，大规模并行处理）架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知ÿ…
Apache Doris (六十）： Doris - 物化视图
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。 🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频 目录
doris的单节点安装部署(详细)
doris的单节点安装部署 环境准备： 1.jdk8 进入官网:https://www.oracle.com/java/technologies/downloads/ 在linux服务上创建jdk安装的目录 mkdir /itsoftware/jdk #创建jdk安装路径 cd /itsoftware/jdk #进入jdk安装目录 解压缩包
cd /itsoftware/jdk #进入jdk安…
Apache Doris 2.0.0 特性分析
1、存算分离 所谓存算分离是指查询外表时，使用一种专门做计算的BE节点，但对于存储在BE上的内部表，目前还不能做到存储分离。 doris可以查询外部表，包括： Hive、Iceberg、Hudi、Elasticsearch、JDBC、Paimon 早期版本中…
Apache Doris (三十七）：Doris数据导出 - Export导出
进入正文前，感谢宝子们订阅专题、点赞、评论、收藏！关注IT贫道，获取高质量博客内容！ 🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊。 🔔 博主个人B栈地址：https://space.bilibili.com/4…
【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述
Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述 1.数据仓库的发展历程2.数据仓库技术的发展3.数仓的相关技术栈4.OLAP 查询5.MPP 架构6.实时数仓定义7.实时数仓的难点 数据仓库的概念可以追溯到 20 世纪 80 年代，当时 IBM …
SQL综合案例之电商漏斗转化分析,pv,uv及
漏斗模型示例： 不同的业务场景有不同的业务路径 : 有先后顺序, 事件可以出现多次 注册转化漏斗 : 启动APP --> APP注册页面--->注册结果 -->提交订单-->支付成功 搜购转化漏斗 : 搜索商品--> 点击商品--->加入购物车-->提交订单-->支付成功…
Mysql同步数据到Doris的踩坑过程
问题背景
由于项目需要，需要把多个Mysql数据库的数据同步到Doris数据库，然后利用Doris强调的计算和查询能力，来满足业务需求。有关Doris可以查看它的官方文档来了解它。
seatunnel的使用到放弃
缘起
从《第十届GIAC全球互联网架构大会》了…
自建minio实现doris的快速备份与恢复
一.概述 doris支持通过腾讯云bos、阿里云oss、hdfs实现备份与恢复，但是我们公司doris部署在线下机房，如采用oss/bos, 大数据备份与恢复比较慢，会占用一定的带宽，如采用hdfs，担心小文件太多影响现有的hadoop集群。为了保…
Apache Doris 2.0 冷热分离快速体验
概述
对于任何一种数据库类软件来说，无论其基于传统数据库模型还是基于分布式结构，作为核心的永远是数据本身。而数据的生命周期，则体现在CRUD操作（创建、查询、更新、删除）上。任何一条数据从其生成的时刻开始&#…
Doris数据库FE——SQL 接收
SQL 接收
首先看定义在fe/fe-core/src/main/java/org/apache/doris/qe/QeService.java文件中的public class QeService类，该类is the encapsulation of the entire front-end service, including the creation of services that support the MySQL protocol是整个前…