Ok so I attempted this again when I found a new tutorial at 
https://blog.alphagnu.com/update-upgrade-to-mariadb-10-4-on-vestacp-cwp-centos-7/.
Below is the resuklts of it, why did it go right back to 10.4?
[root@viking etc]# cp /etc/my.cnf /etc/my.cnf.bak
[root@viking etc]# nano /etc/my.cnf
[root@viking etc]# mv /etc/yum.repos.d/mariadb.repo /etc/yum.repos.d/mariadb.repo.bak
[root@viking etc]# nano /etc/yum.repos.d/mariadb.repo
[root@viking etc]# yum clean all
81 files removed
[root@viking etc]# yum install MariaDB-server MariaDB-client net-snmp perl-DBD-MySQL -y
CentOS Web Panel repo for Linux 8 - x86_64                                                                                                                  302 kB/s | 305 kB     00:01
AlmaLinux 8 - BaseOS                                                                                                                                         18 MB/s | 9.6 MB     00:00
AlmaLinux 8 - AppStream                                                                                                                                      27 MB/s |  15 MB     00:00
AlmaLinux 8 - Extras                                                                                                                                         37 kB/s |  13 kB     00:00
AlmaLinux 8 - PowerTools                                                                                                                                    9.1 MB/s | 4.0 MB     00:00
AlmaLinux 8 - PowerTools Source                                                                                                                             207 kB/s | 138 kB     00:00
AlmaLinux 8 - PowerTools debuginfo                                                                                                                          1.2 MB/s | 688 kB     00:00
Extra Packages for Enterprise Linux 8 - x86_64                                                                                                               30 MB/s |  14 MB     00:00
MariaDB                                                                                                                                                     1.9 MB/s | 604 kB     00:00
nginx repo                                                                                                                                                  1.1 MB/s |  71 kB     00:00
Package MariaDB-server-10.4.34-1.el8.x86_64 is already installed.
Package MariaDB-client-10.4.34-1.el8.x86_64 is already installed.
Package perl-DBD-MySQL-4.046-3.module_el8.6.0+2827+49d66dc3.x86_64 is already installed.
Dependencies resolved.
============================================================================================================================================================================================
 Package                                         Architecture                            Version                                           Repository                                  Size
============================================================================================================================================================================================
Installing:
 net-snmp                                        x86_64                                  1:5.8-30.el8                                      appstream                                  355 k
Upgrading:
 MariaDB-client                                  x86_64                                  10.6.20-1.el8                                     mariadb                                     15 M
 MariaDB-common                                  x86_64                                  10.6.20-1.el8                                     mariadb                                     88 k
 MariaDB-server                                  x86_64                                  10.6.20-1.el8                                     mariadb                                     26 M
Transaction Summary
============================================================================================================================================================================================
Install  1 Package
Upgrade  3 Packages
Total download size: 41 M
Downloading Packages:
(1/4): net-snmp-5.8-30.el8.x86_64.rpm                                                                                                                       2.3 MB/s | 355 kB     00:00
(2/4): MariaDB-common-10.6.20-1.el8.x86_64.rpm                                                                                                              456 kB/s |  88 kB     00:00
(3/4): MariaDB-client-10.6.20-1.el8.x86_64.rpm                                                                                                               27 MB/s |  15 MB     00:00
(4/4): MariaDB-server-10.6.20-1.el8.x86_64.rpm                                                                                                               41 MB/s |  26 MB     00:00
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Total                                                                                                                                                        36 MB/s |  41 MB     00:01
Running transaction check
Transaction check succeeded.
Running transaction test
Transaction test succeeded.
Running transaction
  Preparing        :                                                                                                                                                                    1/1
  Running scriptlet: MariaDB-common-10.6.20-1.el8.x86_64                                                                                                                                1/1
  Upgrading        : MariaDB-common-10.6.20-1.el8.x86_64                                                                                                                                1/7
  Upgrading        : MariaDB-client-10.6.20-1.el8.x86_64                                                                                                                                2/7
  Running scriptlet: MariaDB-server-10.6.20-1.el8.x86_64                                                                                                                                3/7
******************************************************************
A MySQL or MariaDB server package (MariaDB-server-10.4.34-1.el8.x86_64) is installed.
Upgrading directly from MySQL 10.4 to MariaDB 10.6 may not
be safe in all cases.  A manual dump and restore using mysqldump is
recommended.  It is important to review the MariaDB manual's Upgrading
section for version-specific incompatibilities.
A manual upgrade is required.
- Ensure that you have a complete, working backup of your data and my.cnf
  files
- Shut down the MySQL server cleanly
- Remove the existing MySQL packages.  Usually this command will
  list the packages you should remove:
  rpm -qa | grep -i '^mysql-'
  You may choose to use 'rpm --nodeps -ev <package-name>' to remove
  the package which contains the mysqlclient shared library.  The
  library will be reinstalled by the MariaDB-shared package.
- Install the new MariaDB packages supplied by MariaDB Foundation
- Ensure that the MariaDB server is started
- Run the 'mysql_upgrade' program
This is a brief description of the upgrade process.  Important details
can be found in the MariaDB manual, in the Upgrading section.
******************************************************************
error: %prein(MariaDB-server-10.6.20-1.el8.x86_64) scriptlet failed, exit status 1
Error in PREIN scriptlet in rpm package MariaDB-server
  Installing       : net-snmp-1:5.8-30.el8.x86_64                                                                                                                                       4/7
error: MariaDB-server-10.6.20-1.el8.x86_64: install failed
  Running scriptlet: net-snmp-1:5.8-30.el8.x86_64                                                                                                                                       4/7
  Running scriptlet: MariaDB-client-10.4.34-1.el8.x86_64                                                                                                                                5/7
error: MariaDB-server-10.4.34-1.el8.x86_64: erase skipped
  Cleanup          : MariaDB-client-10.4.34-1.el8.x86_64                                                                                                                                5/7
  Running scriptlet: MariaDB-client-10.4.34-1.el8.x86_64                                                                                                                                5/7
  Running scriptlet: MariaDB-common-10.4.34-1.el8.x86_64                                                                                                                                6/7
  Cleanup          : MariaDB-common-10.4.34-1.el8.x86_64                                                                                                                                6/7
  Running scriptlet: MariaDB-common-10.4.34-1.el8.x86_64                                                                                                                                6/7
  Verifying        : net-snmp-1:5.8-30.el8.x86_64                                                                                                                                       1/7
  Verifying        : MariaDB-client-10.6.20-1.el8.x86_64                                                                                                                                2/7
  Verifying        : MariaDB-client-10.4.34-1.el8.x86_64                                                                                                                                3/7
  Verifying        : MariaDB-common-10.6.20-1.el8.x86_64                                                                                                                                4/7
  Verifying        : MariaDB-common-10.4.34-1.el8.x86_64                                                                                                                                5/7
  Verifying        : MariaDB-server-10.6.20-1.el8.x86_64                                                                                                                                6/7
  Verifying        : MariaDB-server-10.4.34-1.el8.x86_64                                                                                                                                7/7
Upgraded:
  MariaDB-client-10.6.20-1.el8.x86_64                                                          MariaDB-common-10.6.20-1.el8.x86_64
Installed:
  net-snmp-1:5.8-30.el8.x86_64
Failed:
  MariaDB-server-10.4.34-1.el8.x86_64                                                          MariaDB-server-10.6.20-1.el8.x86_64
Error: Transaction failed
[root@viking etc]# rm -rf /etc/my.cnf
[root@viking etc]# cp /etc/my.cnf.bak /etc/my.cnf
[root@viking etc]# systemctl enable mariadb
[root@viking etc]# service mysql start
Redirecting to /bin/systemctl start mysql.service
[root@viking etc]# mysql_upgrade
This installation of MariaDB is already upgraded to 10.4.34-MariaDB.
There is no need to run mysql_upgrade again for 10.4.34-MariaDB.
You can use --force if you still want to run mysql_upgrade
[root@viking etc]# mysql
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 5198
Server version: 10.4.34-MariaDB MariaDB Server
Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MariaDB [(none)]>