1.购买服务器
购买服务器,绑定最好与集群同一个安全组,配置入规则,在01机器配置弹性公网ip,三台的Fe,不用外挂硬盘,设置系统盘大点。三台Fe,三台Be
2.增加所有节点的用户
useradddoris
passwddoris123456
3.配置ssh免密登录
所有节点添加主机名映射
vi/etc/hosts
10.xx.xx.01doris-0001
10.xx.xx.02doris-0002
10.xx.xx.03doris-0003
10.xx.xx.04doris-0004
10.xx.xx.05doris-0005
10.xx.xx.06doris-0006
配置免密
在doris用户下:这样配置只是第一台机器与其他机器互通
ssh-keygen-trsa#执行命令后连续按4次回车
cd~/.ssh/
cp~/.ssh/id_rsa.pub
ssh-copy-id主机2的主机名
ssh-copy-id主机3的主机名
ssh-copy-id主机4的主机名
ssh-copy-id主机5的主机名
ssh-copy-id主机6的主机名
参考:
https://blog.csdn.net/m0_61232019/article/details/126975585
4.创建挂载磁盘
参考:
https://www.cnblogs.com/yiyubinghan/archive/2022/03/22/16030555.html
查看当前磁盘分区情况
fdisk-l
进入/dev目录查看硬盘信息,看到vda/vda1/vda2和vdb和vdc(vdb和vdc是买服务器时候买的两块磁盘)
给vdb进行分区
fdisk/dev/vdb
n代表新建分区
接下来的分区大小可以直接回车,默认是整块硬盘一个分区,当然也可以选择多个分区。
最后w代表确定分区后写入
这样就会得到一个新的分区/dev/vdb1
检查一下分区的状态
fdisk-l
分区格式化为ext4格式
mkfs-text4/dev/vdb1
新建一个目录,作为挂载目录
mkdir/disk1
挂载硬盘分区,可以看到/dev/vdb1磁盘信息
mount/dev/vdb1/disk1
将挂载设置,保存到系统
通过命令查看新建分区的UUID、复制
lsblk-f
粘贴在/etc/fstab里面,qw保存退出
vim/etc/fstab
chmod777-R/disk1
chmod777-R/disk1
5.设置打开文件数和进程数
root用户下:
vim/etc/security/limits.conf
rootsoftnofile65535
roothardnofile65535
dorissoftnproc255446
dorishardnproc255446
*softnofile65535
*hardnofile65535
*softnproc255446
*hardnproc255446
重启服务器:
reboot
6.关闭交换分区
free-h
Swap:0B0B0B
则关闭
7.Doris二进制包下载地址
https://github.com/apache/doris/releases/tag/1.1.3-rc02
8.配置Fe
doris用户下:
创建文件夹
mkdir-p/opt/software
mkdir-p/opt/cloud/bigdata/Doris
mkdir-p/opt/cloud/bigdata/Doris/doris-meta
解压Fe
tar-zxvf/opt/software/apache-doris-fe-1.1.3-bin.tar.gz-C/opt/cloud/bigdata/Doris/
创建软链接
ln-s/opt/cloud/bigdata/Doris/apache-doris-fe-1.1.3-bin//opt/cloud/bigdata/Doris/fe
修改fe.conf配置
vimfe.conf
#配置文件中指定元数据路径:
meta_dir=/opt/cloud/bigdata/Doris/doris-meta
#修改绑定ip(每台机器修改成自己的ip)
priority_networks=10.xx.xx.01/24
#调JAVA_OPTS中-Xmx调到32768m,即32GB
#支持Https,打开前端页面
enable_http_server_v2=true
#增加动态分区
dynamic_partition_enable=true
启动master节点Fe
./start_fe.sh--daemon
查看进程情况
jps
查看日志log
访问WebUi
公网ip:
http://100.xx.xx.xx:8030
能连上且说明已经装好master节点的Fe
通过mysql客户端连接Fe节点
可以在服务器上解压对应服务器版本的mysqlClient
卸载mariadb
yumremove-ymariadb-libs
tar-zxvf/opt/software/mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz-C/opt/cloud/bigdata/Doris/
ln-s/opt/cloud/bigdata/Doris/mysql-5.7.22-linux-glibc2.12-x86_64//opt/cloud/bigdata/Doris/mysql
本地客户端连接工具:
能连上且说明已经装好master节点的Fe
剩余两台Fe
剩下两台fe,修改fe.conf的ip,其余与第一台fe一样,启动方式需要第一台的ip
./start_fe.sh--helper10.xx.xx.01:9010--daemon
./start_fe.sh--helper10.xx.xx.01:9010--daemon
连接本地客户端后,添加另外两台Fe作为Follow:
ALTERSYSTEMADDFOLLOWER“10.xx.xx.02:9010”;
ALTERSYSTEMADDFOLLOWER“10.xx.xx.03:9010”;
查看情况
showproc‘/frontends’;
分发Fe脚本
此处各取所需
#!/bin/bashforhostindoris-0002doris-0003doecho==========$host=========ssh$host"mkdir-p/opt/cloud/bigdata/Doris"ssh$host"mkdir-p/opt/cloud/bigdata/Doris/doris-meta"scp-r/opt/cloud/bigdata/Doris/apache-doris-fe-1.1.3-bindoris@$host:/opt/cloud/bigdata/Doris/ssh$host"ln-s/opt/cloud/bigdata/Doris/apache-doris-fe-1.1.3-bin//opt/cloud/bigdata/Doris/fe"sleep1done
9.配置Be
解压be
tar-zxvf/opt/software/apache-doris-be-1.1.3-bin-arm.tar.gz-C/opt/cloud/bigdata/Doris/
ln-s/opt/cloud/bigdata/Doris/apache-doris-be-1.1.3-bin-arm//opt/cloud/bigdata/Doris/be
修改be.conf
存储数据路径
storage_root_path=/data1/doris,medium:hdd;/data2/doris,medium:hdd
priority_networks
每台机器要配置对应机器的ip/24
其他修改,各取所需
max_tablet_version_num=1000
max_compaction_threads=8
compaction_task_num_per_disk=4
cumulative_size_based_promotion_size_mbytes=1024
row_step_for_compaction_merge_log=1
total_permits_for_compaction_score=40000
增加查询性能
enable_storage_vectorization=true
enable_low_cardinality_optimize=true
启动三台Be
./start_be.sh--daemon
mysql客户端添加Be
ALTERSYSTEMADDBACKEND“10.xx.xx.04:9050”;
ALTERSYSTEMADDBACKEND“10.xx.xx.05:9050”;
ALTERSYSTEMADDBACKEND“10.xx.xx.06:9050”;
查看be节点的状态,主要关注alive节点存活状态是否正常
showproc‘/backends’;
分发Be脚本
此处各取所需
#!/bin/bashforhostinecs-ddos-doris-0004ecs-ddos-doris-0005ecs-ddos-doris-0006doecho==========$host=========ssh$host"mkdir-p/opt/cloud/bigdata/Doris"scp-r/opt/cloud/bigdata/Doris/apache-doris-be-1.1.3-bin-armdoris@$host:/opt/cloud/bigdata/Doris/ssh$host"ln-s/opt/cloud/bigdata/Doris/apache-doris-be-1.1.3-bin-arm//opt/cloud/bigdata/Doris/be"sleep1done
10.设置root的用户名和密码
SETPASSWORDFOR‘root’=PASSWORD(‘123456’);
11.配置代理
参考官网:
https://doris.apache.org/zh-CN/docs/admin-manual/cluster-management/load-balancing#proxysql-配置