当前位置:

安装部署Apache Doris集群

访客 2024-04-23 735 0

1.购买服务器

购买服务器,绑定最好与集群同一个安全组,配置入规则,在01机器配置弹性公网ip,三台的Fe,不用外挂硬盘,设置系统盘大点。三台Fe,三台Be

2.增加所有节点的用户

useradddoris
passwddoris123456

3.配置ssh免密登录

所有节点添加主机名映射
vi/etc/hosts
10.xx.xx.01doris-0001
10.xx.xx.02doris-0002
10.xx.xx.03doris-0003
10.xx.xx.04doris-0004
10.xx.xx.05doris-0005
10.xx.xx.06doris-0006

配置免密

在doris用户下:这样配置只是第一台机器与其他机器互通
ssh-keygen-trsa#执行命令后连续按4次回车
cd~/.ssh/
cp~/.ssh/id_rsa.pub
ssh-copy-id主机2的主机名
ssh-copy-id主机3的主机名
ssh-copy-id主机4的主机名
ssh-copy-id主机5的主机名
ssh-copy-id主机6的主机名
参考:
https://blog.csdn.net/m0_61232019/article/details/126975585

4.创建挂载磁盘

参考:
https://www.cnblogs.com/yiyubinghan/archive/2022/03/22/16030555.html

查看当前磁盘分区情况
fdisk-l
进入/dev目录查看硬盘信息,看到vda/vda1/vda2和vdb和vdc(vdb和vdc是买服务器时候买的两块磁盘)
给vdb进行分区

fdisk/dev/vdb
n代表新建分区
接下来的分区大小可以直接回车,默认是整块硬盘一个分区,当然也可以选择多个分区。
最后w代表确定分区后写入
这样就会得到一个新的分区/dev/vdb1

检查一下分区的状态
fdisk-l

分区格式化为ext4格式
mkfs-text4/dev/vdb1

新建一个目录,作为挂载目录
mkdir/disk1
挂载硬盘分区,可以看到/dev/vdb1磁盘信息
mount/dev/vdb1/disk1

将挂载设置,保存到系统
通过命令查看新建分区的UUID、复制
lsblk-f
粘贴在/etc/fstab里面,qw保存退出
vim/etc/fstab

chmod777-R/disk1
chmod777-R/disk1

5.设置打开文件数和进程数

root用户下:
vim/etc/security/limits.conf
rootsoftnofile65535
roothardnofile65535
dorissoftnproc255446
dorishardnproc255446
*softnofile65535
*hardnofile65535
*softnproc255446
*hardnproc255446
重启服务器:
reboot

6.关闭交换分区

free-h
Swap:0B0B0B
则关闭

7.Doris二进制包下载地址

https://github.com/apache/doris/releases/tag/1.1.3-rc02

8.配置Fe

doris用户下:

创建文件夹

mkdir-p/opt/software
mkdir-p/opt/cloud/bigdata/Doris
mkdir-p/opt/cloud/bigdata/Doris/doris-meta

解压Fe

tar-zxvf/opt/software/apache-doris-fe-1.1.3-bin.tar.gz-C/opt/cloud/bigdata/Doris/

创建软链接

ln-s/opt/cloud/bigdata/Doris/apache-doris-fe-1.1.3-bin//opt/cloud/bigdata/Doris/fe

修改fe.conf配置

vimfe.conf
#配置文件中指定元数据路径:
meta_dir=/opt/cloud/bigdata/Doris/doris-meta

#修改绑定ip(每台机器修改成自己的ip)
priority_networks=10.xx.xx.01/24

#调JAVA_OPTS中-Xmx调到32768m,即32GB

#支持Https,打开前端页面
enable_http_server_v2=true

#增加动态分区
dynamic_partition_enable=true

启动master节点Fe

./start_fe.sh--daemon
查看进程情况
jps
查看日志log

访问WebUi

公网ip:
http://100.xx.xx.xx:8030
能连上且说明已经装好master节点的Fe

通过mysql客户端连接Fe节点

可以在服务器上解压对应服务器版本的mysqlClient
卸载mariadb
yumremove-ymariadb-libs

tar-zxvf/opt/software/mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz-C/opt/cloud/bigdata/Doris/
ln-s/opt/cloud/bigdata/Doris/mysql-5.7.22-linux-glibc2.12-x86_64//opt/cloud/bigdata/Doris/mysql

本地客户端连接工具:
能连上且说明已经装好master节点的Fe

剩余两台Fe

剩下两台fe,修改fe.conf的ip,其余与第一台fe一样,启动方式需要第一台的ip
./start_fe.sh--helper10.xx.xx.01:9010--daemon
./start_fe.sh--helper10.xx.xx.01:9010--daemon

连接本地客户端后,添加另外两台Fe作为Follow:
ALTERSYSTEMADDFOLLOWER“10.xx.xx.02:9010”;
ALTERSYSTEMADDFOLLOWER“10.xx.xx.03:9010”;

查看情况
showproc‘/frontends’;

分发Fe脚本

此处各取所需

#!/bin/bashforhostindoris-0002doris-0003doecho==========$host=========ssh$host"mkdir-p/opt/cloud/bigdata/Doris"ssh$host"mkdir-p/opt/cloud/bigdata/Doris/doris-meta"scp-r/opt/cloud/bigdata/Doris/apache-doris-fe-1.1.3-bindoris@$host:/opt/cloud/bigdata/Doris/ssh$host"ln-s/opt/cloud/bigdata/Doris/apache-doris-fe-1.1.3-bin//opt/cloud/bigdata/Doris/fe"sleep1done

9.配置Be

解压be

tar-zxvf/opt/software/apache-doris-be-1.1.3-bin-arm.tar.gz-C/opt/cloud/bigdata/Doris/
ln-s/opt/cloud/bigdata/Doris/apache-doris-be-1.1.3-bin-arm//opt/cloud/bigdata/Doris/be

修改be.conf

存储数据路径
storage_root_path=/data1/doris,medium:hdd;/data2/doris,medium:hdd

priority_networks
每台机器要配置对应机器的ip/24

其他修改,各取所需
max_tablet_version_num=1000
max_compaction_threads=8
compaction_task_num_per_disk=4
cumulative_size_based_promotion_size_mbytes=1024
row_step_for_compaction_merge_log=1
total_permits_for_compaction_score=40000
增加查询性能
enable_storage_vectorization=true
enable_low_cardinality_optimize=true

启动三台Be

./start_be.sh--daemon

mysql客户端添加Be

ALTERSYSTEMADDBACKEND“10.xx.xx.04:9050”;
ALTERSYSTEMADDBACKEND“10.xx.xx.05:9050”;
ALTERSYSTEMADDBACKEND“10.xx.xx.06:9050”;

查看be节点的状态,主要关注alive节点存活状态是否正常
showproc‘/backends’;

分发Be脚本

此处各取所需

#!/bin/bashforhostinecs-ddos-doris-0004ecs-ddos-doris-0005ecs-ddos-doris-0006doecho==========$host=========ssh$host"mkdir-p/opt/cloud/bigdata/Doris"scp-r/opt/cloud/bigdata/Doris/apache-doris-be-1.1.3-bin-armdoris@$host:/opt/cloud/bigdata/Doris/ssh$host"ln-s/opt/cloud/bigdata/Doris/apache-doris-be-1.1.3-bin-arm//opt/cloud/bigdata/Doris/be"sleep1done

10.设置root的用户名和密码

SETPASSWORDFOR‘root’=PASSWORD(‘123456’);

11.配置代理

参考官网:
https://doris.apache.org/zh-CN/docs/admin-manual/cluster-management/load-balancing#proxysql-配置

发表评论

  • 评论列表
还没有人评论,快来抢沙发吧~