文档库 最新最全的文档下载
当前位置:文档库 › Linux下PostgreSQL 的安装与配置

Linux下PostgreSQL 的安装与配置

Linux下PostgreSQL的安装与配置

一、简介

PostgreSQL是一种非常复杂的对象-关系型数据库管理系统(ORDBMS),也是目前功能最强大,特性最丰富和最复杂的自由软件数据库系统。有些特性甚至连商业数据库都不具备。这个起源于伯克利(BSD)的数据库研究计划目前已经衍生成一项国际开发项目,并且有非常广泛的用

二、系统环境

系统平台:RHEL_6.4 x86_64

PostgreSQL版本:postgresql-test-8.4.13-1.el6_3.x86_64

防火墙已关闭/iptables: Firewall is not running.

SELINUX=disabled

三、安装方式

在系统rhel6.4光盘里有postgresql软件包。Rhel光盘里一般都为比较稳定的版本,rhev 环境中所使用的数据库就是postgreSQL。

A. 下载RPM包安装

B. yum 安装

C. 源码包安装

使用光盘的yum安装

4. 初始化PostgreSQL库

PostgreSQL服务初次启动的时候会提示初始化使用命令/etc/init.d/postgresqlinitdb 初始化数据库

[root@localhost ~]# /etc/init.d/postgresql start

/var/lib/pgsql/data is missing. Use "service postgresqlinitdb" to initialize the cluster first.

[root@localhost ~]# /etc/init.d/postgresqlinitdb

Initializing database: [ OK ]

You have new mail in /var/spool/mail/root

5. 启动服务

[root@localhost ~]# /etc/init.d/postgresql start

Starting postgresql service: [ OK ]

6. 把PostgreSQL服务加入到启动列表

[root@localhost ~]# chkconfigpostgresql on

[root@localhost ~]# chkconfig --list |greppostgresql

postgresql 0:off 1:off 2:on 3:on 4:on 5:on 6:off [root@localhost ~]#

7. 修改PostgreSQL数据库用户postgres的密码(注意不是linux系统帐号)

PostgreSQL数据库默认会创建一个postgres的数据库用户作为数据库的管理员,默认密码为空,

我们需要修改为指定的密码,这里设定为’postgres’。

[root@localhost ~]# su - postgres

bash-4.1$ whoami

postgres

-bash-4.1$ psql

psql (8.4.13)

Type "help" for help.

postgres=# ALTER USER postgres WITH PASSWORD 'postgres';

ALTER ROLE

postgres=# SELECT * FROM pg_shadow;

usename |usesysid | usecreatedb | usesuper | usecatupd | passwd | valuntil | useconfig

----------+----------+-------------+----------+-----------+-------------------------------------+ ----------+-----------

postgres | 10 | t | t | t |

md53175bce1d3201d16594cebf9d7eb3f9d | |

(1 row)

postgres=#

8. 测试数据库

8.1 创建测试数据库demo

postgres=# c reate database demo;

CREATE DATABASE

postgres=# \l

List of databases

Name | Owner | Encoding | Collation | Ctype | Access privileges

-----------+----------+----------+-------------+-------------+----------------------- demo| postgres | UTF8 | en_US.UTF-8 | en_US.UTF-8 |

postgres |postgres | UTF8 | en_US.UTF-8 | en_US.UTF-8 |

template0 | postgres | UTF8 | en_US.UTF-8 | en_US.UTF-8 | =c/postgres

: postgres=CTc/postgres

template1 | postgres | UTF8 | en_US.UTF-8 | en_US.UTF-8 | =c/postgres

: postgres=CTc/postgres

(4 rows)

postgres=#

8.2 切换到demo数据库

postgres=# \c demo

psql (8.4.13)

You are now connected to database "demo".

8.3 创建测试表test

create table test (id integer,name text); 创建drop table test;删除

demo=# create table test (id integer,name text);

CREATE TABLE

demo=# drop table test;

DROP TABLE

8.4 插入测试数据

demo=# insert into test values (1,'demo'); INSERT 0 1

demo=#

demo=# select * from test ;

id | name

----+------

1 | demo

(1 row)

demo=#

8.5 选择数据

数据库创建测试成功。

9. 修改linux系统用户postgres的密码

PostgreSQL数据库默认会创建一个linux系统用户postgres,通过passwd命令设置系统用户的密码为post123。

[root@localhost ~]# passwdpostgres

Changing password for user postgres.

New password:

BAD PASSWORD: it is too simplistic/systematic

Retype new password:

passwd: all authentication tokens updated successfully.

10. 修改PostgresSQL数据库配置实现远程访问

10.1 修改postgresql.conf文件

[root@localhost ~]# vi /var/lib/pgsql/data/postgresql.conf

如果想让PostgreSQL监听整个网络的话,将listen_addresses前的#去掉,并将listen_addresses = 'localhost' 改成listen_addresses = '*'

10.2 修改客户端认证配置文件pg_hba.conf

将需要远程访问数据库的IP地址或地址段加入该文件。

# IPv4 local connections:

host all all 127.0.0.1/32 ident

host all all 192.168.66.0/24 md5

[root@localhost ~]# vi /var/lib/pgsql/data/pg_hba.conf

[root@localhost ~]# /etc/init.d/postgresql restart

Stopping postgresql service: [ OK ] Starting postgresql service: [ OK ] 11. 重启服务以使设置生效

12. 远程测试连接

pgadmin是一个设计,维护和管理Postgres数据库用的通用工具。它能在各种平台的Windows,Linux,FreeBSD,Mac和Solaris服务器上使用。可以从

https://www.wendangku.net/doc/8310314620.html,下载。

密码为postgres

测试成功可以通过这个工具操作postgres数据库

Linux安装与环境配置

实验一Linux安装与环境配置 【实验目的】 1.了解Linux系统的特点,掌握Linux的安装方法; 2.理解虚拟机、虚拟系统、虚拟终端等概念; 3.理解Linux系统的内核版本和发行版本; 4.了解超级用户和普通用户的权限差别; 5.熟悉系统登录、注销、重启和关机。 【实验内容】 1.安装VMware Workstation。 VMware可以虚拟现有任何操作系统,只要真实主机的配置允许,还可以虚拟多个系统。 2.新建虚拟机。 按“新建虚拟机向导”可顺利完成虚拟机安装。安装过程中注意以下选项: (1)虚拟机配置 选“自定义”,以便后面可以自行规划设备,内存和硬盘容量等。 (2)虚拟机内存 VMWare本身不占用太大内存,但处于开启状态的虚拟机会占用较大内存,占用内存量由配置决定,建议直接使用“推荐配置”。临时挂起虚拟机或关闭虚拟机,这些内存会立即释放。 (3)网络类型 网络类型有四个选项,分别为: ●使用桥接网络:通过你的计算机中的一块以太网适配器卡直接连接到一个本地 以太网。 ●使用网络地址翻译(NA T):允许客户操作系统使用主机的IP 地址访问主机的 拨号或者外部以太网连接。 ●使用仅为主机网络:通过一个虚拟网络从内部连接客户操作系统到主机。 ●不使用一个网络连接。 前三个选项中可先任选一个,之后配置网络的时候再改。但勿选最后一个,否则将无法创建网络。 (4)指定磁盘容量 第一项定义磁盘大小。第二项允许虚拟机无限使用磁盘空间,但需要真实磁盘足够大。第三项限制了每块虚拟磁盘的最大容量为2G。 在VMware安装目录下就有一个vmware-vdiskmanager.exe程序,它是一个命令行工具,可用来修改虚拟机硬盘的大小。 (5)创建一块磁盘 第一次建立虚拟机时,一般选择第一项,第二项适用于建立第二个或更多虚拟机,即使用已经建立好的虚拟机磁盘,这样可以减少虚拟机占用的真实磁盘空间。第三项允许虚拟机直接读写磁盘空间,慎选!适合熟悉使用磁盘的高级用户,如果操作失误会把真实磁盘里的内容删掉。

Hadoop集群MYSQL的安装指南

前言 本篇主要介绍在大数据应用中比较常用的一款软件Mysql,我相信这款软件不紧紧在大数据分析的时候会用到,现在作为开源系统中的比较优秀的一款关系型开源数据库已经被很多互联网公司所使用,而且现在正慢慢的壮大中。 在大数据分析的系统中作为离线分析计算中比较普遍的两种处理思路就是:1、写程序利用 mapper-Reducer的算法平台进行分析;2、利用Hive组件进行书写Hive SQL进行分析。 第二种方法用到的Hive组件存储元数据最常用的关系型数据库最常用的就是开源的MySQL了,这也是本篇最主要讲解的。 技术准备 VMware虚拟机、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++ 软件下载 我们需要从Mysql官网上选择相应版本的安装介质,官网地址如下: MySQL下载地址:https://www.wendangku.net/doc/8310314620.html,/downloads/

默认进入的页面是企业版,这个是要收费的,这里一般建议选择社区开源版本,土豪公司除外。

然后选择相应的版本,这里我们选择通用的Server版本,点击Download下载按钮,将安装包下载到本地。 下载完成,上传至我们要安装的系统目录。 这里,需要提示下,一般在Linux系统中大型公用的软件安装在/opt目录中,比如上图我已经安装了Sql Server On linux,默认就安装在这个目录中,这里我手动创建了mysql目录。 将我们下载的MySQL安装介质,上传至该目录下。

安装流程 1、首先解压当前压缩包,进入目录 cd /opt/mysql/ tar -xf mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar 这样,我们就完成了这个安装包的解压。 2、创建MySql超级管理用户 这里我们需要单独创建一个mySQL的用户,作为MySQL的超级管理员用户,这里也方便我们以后的管理。 groupaddmysql 添加用户组 useradd -g mysqlmysql 添加用户 id mysql 查看用户信息。

Hadoop全分布式安装配置

Hadoop全分布式安装配置 一实验目的: 1、了解Hadoop的体系结构、组成; 2、熟练掌握Hadoop的配置、安装方法; 3、通过安装Hadoop了解Hadoop的原理; 二实验内容: 集群包含三个安装了Linux操作系统的节点。将其中的一个节点作为NameNode,另外两个节点作为DataNode,安装之前先利用ping命令,确认三个节点之间的网络互通,即可以互相ping通。假设三个节点IP地址如下,实际的集群节点IP地址可以不同。 NameNode:192.168.198.2 主机名:master DataNode1:192.168.198.3 主机名:slaver1 DataNode2:192.168.198.4 主机名:slaver2 三实验环境: 在申请的虚拟服务器上安装了VMWare Workstation虚拟3个Ubuntu14.04系统。 四安装配置过程: 1、安装Vmware WorkStation软件 下载安装Vmware WorkStation12.0软件。 2、在虚拟机上安装linux操作系统 在Vmware WorkStation12.0中创建一个Ubuntu14.04系统。拷贝镜像文件复制出三个系统。分别为master、slaver1、slaver2。 3、配置hosts、hostname文件

在三台机器上配置相同的hosts文件 (1)修改hosts sudo gedit /etc/hosts 192.168.198.200 master 192.168.198.199 slave1 192.168.198.198 slave2 (2)修改hostname sudo gedit /etc/hostname 4、配置ip地址 配置ip:sudo gedit /etc/network/interfaces slave2 auto eth0 iface eth0 inet static address 192.168.198.198 gateway 192.168.198.107 netmask 255.255.255.0 slave1 auto eth0 iface eth0 inet static address 192.168.198.199 gateway 192.168.198.107 netmask 255.255.255.0 master auto eth0 iface eth0 inet static address 192.168.198.200 gateway 192.168.198.107 netmask 255.255.255.0

hadoop集群完整配置过程详细笔记

本文为笔者安装配置过程中详细记录的笔记 1.下载hadoop hadoop-2.7.1.tar.gz hadoop-2.7.1-src.tar.gz 64位linux需要重新编译本地库 2.准备环境 Centos6.4 64位,3台 hadoop0 192.168.1.151namenode hadoop1 192.168.1.152 datanode1 Hadoop2 192.168.1.153 datanode2 1)安装虚拟机: vmware WorkStation 10,创建三台虚拟机,创建时,直接建立用户ha,密码111111.同时为root密码。网卡使用桥接方式。 安装盘 、 2). 配置IP.创建完成后,设置IP,可以直接进入桌面,在如下菜单下配置IP,配置好后,PING 确认好用。 3)更改三台机器主机名 切换到root用户,更改主机名。 [ha@hadoop0 ~]$ su - root Password: [root@hadoop0 ~]# hostname hadoop0 [root@hadoop0 ~]# vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop0 以上两步后重启服务器。三台机器都需要修改。 4)创建hadoop用户 由于在创建虚拟机时,已自动创建,可以省略。否则用命令创建。

5)修改hosts文件 [root@hadoop0 ~]# vi /etc/hosts 127.0.0.1 localhostlocalhost.localdomain localhost4 localhost4.localdomain4 ::1localhostlocalhost.localdomain localhost6 localhost6.localdomain6 192.168.1.151 hadoop0 192.168.1.152 hadoop1 192.168.1.153 hadoop2 此步骤需要三台机器都修改。 3.建立三台机器间,无密码SSH登录。 1)三台机器生成密钥,使用hadoop用户操作 [root@hadoop0 ~]# su– ha [ha@hadoop0 ~]$ ssh -keygen -t rsa 所有选项直接回车,完成。 以上步骤三台机器上都做。 2)在namenode机器上,导入公钥到本机认证文件 [ha@hadoop0 ~]$ cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys 3)将hadoop1和hadoop2打开/home/ha/.ssh/ id_rsa.pub文件中的内容都拷贝到hadoop0的/home/ha /.ssh/authorized_keys文件中。如下: 4)将namenode上的/home/ha /.ssh/authorized_keys文件拷贝到hadoop1和hadoop2的/home/ha/.ssh文件夹下。同时在三台机器上将authorized_keys授予600权限。 [ha@hadoop1 .ssh]$ chmod 600 authorized_keys 5)验证任意两台机器是否可以无密码登录,如下状态说明成功,第一次访问时需要输入密码。此后即不再需要。 [ha@hadoop0 ~]$ ssh hadoop1 Last login: Tue Aug 11 00:58:10 2015 from hadoop2 4.安装JDK1.7 1)下载JDK(32或64位),解压 [ha@hadoop0 tools]$ tar -zxvf jdk-7u67-linux-x64.tar.gz 2)设置环境变量(修改/etx/profile文件), export JAVA_HOME=/usr/jdk1.7.0_67 export CLASSPATH=:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin 3)使环境变量生效,然后验证JDK是否安装成功。

RedHat-linux7-虚拟化+集群安装精简手册

RedHat linux 7虚拟化环境集群安装精简手册 1、前期准备 挂载磁盘 /* 通过制作iso,方便后续安装动作,在知识库中应形成iso镜像体系*/ dd if=/dev/sr0 of=/app/rh71.iso mount -o loop /app/rh71.iso /mnt 挂载制作的iso mount -loop /dev/sr0 /mnt 查看少什么包 /* 如果想要是用vgscan指令,系统至少需要安装lvm2包,这个从安装好的系统上查*/ [root@jttldb1 host5]# rpm -qf /sbin/vgscan lvm2-2.02.83-3.el6.x86_64 常用包安装 net-tools (ifconfig等用) yum -y install nautilus-open-terminal(右键添加terminal) 配置yum /* 根据具体挂载的路径和版本调整*/ 建立文件/etc/yum.repos.d/mycdrom.repo [Base] name=RHEL baseurl= enabled=1 gpgcheck=0 [Cluster] name=RHEL baseurl=addons/HighAvailability enabled=1 gpgcheck=0

配置ip IPADDR=10.88.89.100 GATEWAY=10.88.89.1 NETMASK=255.255.255.0 ONBOOT=yes 单网卡配置多ip ifconfig team0:0 10.88.89.101 netmask 255.255.255.0 (临时添加一个ip,重启后消失,如果想永久拥有,需要配置ifcfg-ens32:0 文件) 临时文件取消:ifconfig ens32:0 down 网卡绑定 1)创建组接口(会生产一个ifcfg-team0) nmcli con add type team con-name team0 ifname team0 config '{"runner":{"name":"activebackup"}}' nmcli con del team0 (删除绑定team) 2)查看组接口配置 nmcli con show 3)给组接口添加设备 nmcli con add type team-slave con-name team0-port1 ifname enp11s0f0 master team0 nmcli con add type team-slave con-name team0-port2 ifname enp16s0f0 master team0 nmcli con mod type team-slave con-name team0-port2 ifname enp16s0f0 master team0 4)配置ip [root@jttldb2 network-scripts]# more ifcfg-team0 DEVICE=team0 DEVICETYPE=Team TEAM_CONFIG="{\"runner\":{\"name\":\"activebackup\"}}" BOOTPROTO=none IPADDR=10.88.89.100 PREFIX=25 GATEWAY=10.88.89.1 DEFROUTE=yes IPV4_FAILURE_FATAL=yes IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes

4Mlinux安装配置方法

4Mlinux 安装配置 一、安装4Mlinux 1.新建otherlinux虚拟机 2.硬件资源分配,硬盘不要超过1G,600M足够否则安装会很慢,必须为IDE接口硬盘。 内存256M即可。 设置硬盘大小:

硬件资源分配图 3.配置好硬件资源后可能会无法选择硬盘接口类型,可以删除原来的,再添加一个

删除SCSI接口的硬盘,添加一个IDE接口的硬盘 设置硬盘接口为IDE的类型,绝对不能用SCSI的,否则不能识别

设置大小为600M 删除原来的SCSI接口硬盘,其他的按回车就可以了。

4.选择iso安装镜像从CD/DVD启动 5.启动后会进入一个类似安装系统界面,但是这不是安装界面 6.这里可以不输入密码,按回车就可以了 7.Root账号登陆,没有设置密码,回车就可以了

8.登陆之后,用“fdisk /dev/sda”新建一个主分区,等下系统就是安装在这个分区里的。 分区新建之后,由于这里无法探测分区,所以用reboot重启系统。 格式化为ext3 9.进入/usr/sbin/目录下,找到一个名为install2hd 的文件拷贝到/tmp目录下 拷贝到/tmp目录下,注意这里一定要拷贝到/tmp/目录下,因为等下要修改这个脚本文件,而且执行后文件会改变 到/tmp目录下修改这个脚本文件,用“/df -h”查找到相关内容,将原来为G的单位改为M 将G改为M 保存退出 10.执行“./install2hd /dev/sda”安装系统到“/dev/sda1”分区下 执行这条命令后选分区时选择1,其余回车或y就可以了。安装完后重启系统就可以了 二、网络配置 到/etc/net/net.conf里面配置网络。 根据需求配置网络即可。

hadoop3安装和配置

hadoop3.0.0安装和配置1.安装环境 硬件:虚拟机 操作系统:Centos 7 64位 IP:192.168.0.101 主机名:dbp JDK:jdk-8u144-linux-x64.tar.gz Hadoop:hadoop-3.0.0-beta1.tar.gz 2.关闭防火墙并配置主机名 [root@dbp]#systemctl stop firewalld #临时关闭防火墙 [root@dbp]#systemctl disable firewalld #关闭防火墙开机自启动 [root@dbp]#hostnamectl set-hostname dbp 同时修改/etc/hosts和/etc/sysconfig/network配置信息 3.配置SSH无密码登陆 [root@dbp]# ssh-keygen -t rsa #直接回车 [root@dbp]# ll ~/.ssh [root@dbp .ssh]# cp id_rsa.pub authorized_keys [root@dbp .ssh]# ssh localhost #验证不需要输入密码即可登录

4.安装JDK 1、准备jdk到指定目录 2、解压 [root@dbp software]# tar–xzvf jdk-8u144-linux-x64.tar.gz [root@dbp software]# mv jdk1.8.0_144/usr/local/jdk #重命名4、设置环境变量 [root@dbp software]# vim ~/.bash_profile 5、使环境变量生效并验证 5.安装Hadoop3.0.0 1、准备hadoop到指定目录 2、解压

linux操作系统安装手册

操作系统安装 服务器推荐配置: CPU: Intel Xeon 3.2G 或以上 内存: 1G 或以上 网卡:100M 或1000M(视系统规模) 硬盘:73.4G 以上(视存储规模) 说明:此文档是REDHAT企业版AS4.0为基准的,REDHAT 9.0的安装也可以参考,只是选择安装包是不相同的。) 使用REDHAT AS4 光盘(4 碟装)。光盘版本号为:2.6.9-5和2.6.9-34,上述版本可按照下面方式安装。 设制BIOS 中的启动顺序,使计算机优先从cd-rom 启动。 打开计算机,把CD1 放入光驱,安装启动画面有多种选择, 直接回车,到下图 用TAB键切换到Skip回车 点击Next, 选择语言,如下图。

点击Next,配置键盘(默认),如下图。 点击Next,开始配置鼠标(默认),如下。 点击Next,分区格式选Manually partition with disk druid,如下图。 点击Next,开始分区。如下图。

如果此机器有两块或两块以上硬盘的话,会在图8 中显示出来例如hda 和hdc,那么注意要给在某个硬盘上(举例 说明,比如硬盘hda)创建分区时,点击new,在下一图形界面中,会提示有两块硬盘,此时必须打勾只选中需 要在上面创建分区的那块硬盘(例子中应该是hda),也就是说把另一块硬盘(例子中应该是hdc)前面的钩去掉。 对于只有一块硬盘的安装过程来说,只需按正常步骤就可以。 我们假设这台计算机中只有一块硬盘。一般使用IDE 硬盘时设备名为/dev/had(如果我们使用的是一个SCSI 硬盘,它的设备文件名为/dev/sda) 请注意。安装Linux 系统只要一个交换分区(swap)和一个根分区(/),一般情况下,根分区为10G 左右,如果还有剩余空间,那么再创建新分区,映射为(/xfmdata)做为存储分区吧。 点击new 按钮创建一个swap 分区,swap 分区大小选本机内存大小的2 倍,但不要超过1024M. FileSystem Type 选swap,一般分为512M 左右,如下图。 点击OK,配置好SWAP 分区,如下图。

Linux项目安装部署

1安装Jdk (1)安装 第一步:下载Linux环境下的jdk1.8,请去(官网)中下载jdk的安装文件; 由于我的Linux是32位的,因此我下载jdk-8u92-linux-i586.tar.gz文件。 解压: tar xzvf jdk-8u45-linux-i586.tar.gz 移动到opt目录: sudo mv jdk1.8.0_45 /opt (2)配置环境变量 ①、使用vim /etc/profile编辑profile文件 ②、在/etc/profile底部加入如下内容: JAVA_HOME=/opt/jdk1.8.0_92 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar export JAVA_HOME export PATH export CLASSPATH

输入:wq保存并退出,最后使用source /etc/profile让profile文件立即生效。 (3)测试命令 输入:java -version,如果看到如下截图说明你的jdk已经安装成功了。 2安装mysql (1)到mysql官网下载mysql编译好的二进制安装包,在下载页面Select Platform:选项选择linux-generic,然后把页面拉到底部,64位系统下载Linux - Generic (glibc 2.5) (x86, 64-bit),32位系统下载Linux - Generic (glibc 2.5) (x86, 32-bit) (2)解压32位安装包: 进入安装包所在目录,执行命令:tar mysql-5.6.17-linux-glibc2.5-i686.tar.gz (3)复制解压后的mysql目录到系统的本地软件目录: 执行命令:cp mysql-5.6.17-linux-glibc2.5-i686 /usr/local/mysql -r

hadoop安装简要过程和相关配置文件

Hadoop安装简要过程及配置文件 1、机器准备 ①、Linux版操作系统centos 6.x ②、修改主机名,方便配置过程中记忆。修改文件为: /etc/sysconfig/network 修改其中的HOSTNAME即可 ③、配置局域网内,主机名与对应ip,并且其中集群中所有的机器的文件相同,修改文件为 /etc/hosts 格式为: 10.1.20.241 namenode 10.1.20.242 datanode1 10.1.20.243 datanode2 2、环境准备 ①、配置ssh免密码登陆,将集群中master节点生成ssh密码文件。具体方法: 1)、ssh-keygen -t rsa 一直回车即可,将会生成一份 ~/.ssh/ 文件夹,其中id_rsa为私钥文件 id_rsa.pub公钥文件。 2)、将公钥文件追加到authorized_keys中然后再上传到其他slave节点上 追加文件: cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 上传文件: scp ~/.ssh/authorized_keys root@dananode:~/.ssh/ 3)、测试是否可以免密码登陆:ssh 主机名或局域网ip ②、配置JDK ③、创建hadoop用户 groupadd hadoop useradd hadoop -g hadoop 4)、同步时间 ntpdate https://www.wendangku.net/doc/8310314620.html, 5)、关闭防火墙 service iptables stop 3、安装cdh5 进入目录/data/tools/ (个人习惯的软件存储目录,你可以自己随便选择); wget "https://www.wendangku.net/doc/8310314620.html,/cdh5/one-click-install/redhat/ 6/x86_64/cloudera-cdh-5-0.x86_64.rpm" yum --nogpgcheck localinstall cloudera-cdh-5-0.x86_64.rpm 添加cloudera仓库验证: rpm --importhttps://www.wendangku.net/doc/8310314620.html,/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera

Hadoop的安装与配置及示例wordcount的运行

Hadoop的安装与配置及示例程序 wordcount的运行 目录 前言 (1) 1 机器配置说明 (2) 2 查看机器间是否能相互通信(使用ping命令) (2) 3 ssh设置及关闭防火墙 (2) 1)fedora装好后默认启动sshd服务,如果不确定的话可以查一下[garon@hzau01 ~]$ service sshd status (3) 2)关闭防火墙(NameNode和DataNode都必须关闭) (3) 4 安装jdk1.6(集群中机子都一样) (3) 5 安装hadoop(集群中机子都一样) (4) 6 配置hadoop (4) 1)配置JA V A环境 (4) 2)配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件 (5) 3)将NameNode上完整的hadoop拷贝到DataNode上,可先将其进行压缩后直接scp 过去或是用盘拷贝过去 (7) 4)配置NameNode上的conf/masters和conf/slaves (7) 7 运行hadoop (7) 1)格式化文件系统 (7) 2)启动hadoop (7) 3)用jps命令查看进程,NameNode上的结果如下: (8) 4)查看集群状态 (8) 8 运行Wordcount.java程序 (8) 1)先在本地磁盘上建立两个文件f1和f2 (8) 2)在hdfs上建立一个input目录 (9) 3)将f1和f2拷贝到hdfs的input目录下 (9) 4)查看hdfs上有没有f1,f2 (9) 5)执行wordcount(确保hdfs上没有output目录) (9) 6)运行完成,查看结果 (9) 前言 最近在学习Hadoop,文章只是记录我的学习过程,难免有不足甚至是错误之处,请大家谅解并指正!Hadoop版本是最新发布的Hadoop-0.21.0版本,其中一些Hadoop命令已发生变化,为方便以后学习,这里均采用最新命令。具体安装及配置过程如下:

Linux安装部署规范标准

Linux安装部署规文档 编制人员:石鹏 编制部门:运维事业部 模版文件版本:V1.1 适用项目围:所有

文件修改记录表

目录 1 安装前的准备工作 (6) 1.1 操作系统版本 (6) 1.2 操作系统的安装信息搜集 (6) 2 默认情况的Linux操作系统安装 (7) 2.1 安装语言的选择 (7) 2.2 分区的划分 (8) 2.2.1 boot分区 (8) 2.2.2 LVM分区 (8) 2.2.3 根分区 (10) 2.2.4 Swap空间 (10) 2.3 IP地址的配置 (11) 2.4 主机名的设定 (12) 2.5 时区的设定 (12) 2.6 密码的设定 (13) 2.7 软件包的定制 (13) 2.7.1 桌面环境 (13) 2.7.2 应用程序 (14) 2.7.3 开发环境 (14) 2.7.4 服务器 (15) 2.7.5 基础系统 (15) 2.7.6 虚拟化 (15) 2.7.7 语言 (16) 2.8 安装后的设置 (17) 2.8.1 防火墙设置 (17) 2.8.2 SELinux (17) 2.9 操作系统配置 (18) 2.9.1 文字界面启动 (18) 2.9.2 Root用户直接登陆系统 (18) 2.9.3 取消不用的服务 (18) 2.10 备份操作系统关键文件 (19) 3 针对Oracle数据库服务器的操作系统安装 (19) 3.1 安装语言的选择 (19) 3.2 分区的划分 (19) 3.2.1 boot分区 (19) 3.2.2 LVM分区 (20) 3.2.3 根分区 (20) 3.2.4 Swap空间 (20) 3.2.5 tmp分区 (20) 3.2.6 var分区 (21) 3.2.7 usr分区 (21) 3.2.8 u01分区 (22) 3.3 IP地址的配置 (22) 3.4 主机名的设定 (22) 3.5 时区的设定 (23) 3.6 密码的设定 (23) 3.7 软件包的定制 (23) 3.7.1 桌面环境 (23)

Linux下WebLogic 的安装配置及启动

Linux? Weblogic ??3 zhenhua_hou@https://www.wendangku.net/doc/8310314620.html, 20100822 WebLogic 1 ǐ ? CentOS4.8 2 3'? 1:oracle wls1033_oepe111150_linux32.bin https://www.wendangku.net/doc/8310314620.html,/technetwork/middleware/ias/downloads/wls-main-097127.html 2:ftp xFtp https://www.wendangku.net/doc/8310314620.html,/download/down_xfp3.html 3:SSH SecureCRT,SSH,XShell 3 3? ?URRW/"? ? ?D ? ZHE/RJLF/"? KRPH ? mkdir -p /u02/weblogic

?üZHE/RJLF?/"? groupadd weblogic ?ü/ZHE/RJLF useradd -g weblogic -d /u02/weblogic weblogic "?ü?/" 3 passwd weblogic ? ? ? ? weblogic weblogic ? X " ???/" cd /u02 ls -la root root 4096 Aug 23 15:29 u02 ? X ? " ???/" ?%?ZHE/RJLF chown -R weblogic:weblogic /u02 /;IWS?ZOV BRHSH BOLQX[ ELQ? X ? ?ZOV BRHSH BOLQX[ ELQ" ?/"??/" cd /u02 ls -la root root 968036147 Aug 23 15:39 wls1033_oepe111150_linux32.bin

Hadoop安装手册_Hadoop2.0-v1.6

Hadoop2.0安装手册目录 第1章安装VMWare Workstation 10 (4) 第2章VMware 10安装CentOS 6 (10) 2.1 CentOS系统安装 (10) 2.2 安装中的关键问题 (13) 2.3 克隆HadoopSlave (17) 2.4 windows中安装SSH Secure Shell Client传输软件 (19) 第3章CentOS 6安装Hadoop (23) 3.1 启动两台虚拟客户机 (23) 3.2 Linux系统配置 (24) 3.2.1软件包和数据包说明 (25) 3.2.2配置时钟同步 (25) 3.2.3配置主机名 (26) 3.2.5使用setup 命令配置网络环境 (27) 3.2.6关闭防火墙 (29) 3.2.7配置hosts列表 (30) 3.2.8安装JDK (31) 3.2.9免密钥登录配置 (32) 3.3 Hadoop配置部署 (34) 3.3.1 Hadoop安装包解压 (34) 3.3.2配置环境变量hadoop-env.sh (34) 3.3.3配置环境变量yarn-env.sh (35) 3.3.4配置核心组件core-site.xml (35) 3.3.5配置文件系统hdfs-site.xml (35) 3.3.6配置文件系统yarn-site.xml (36) 3.3.7配置计算框架mapred-site.xml (37) 3.3.8 在master节点配置slaves文件 (37) 3.3.9 复制到从节点 (37) 3.4 启动Hadoop集群 (37) 3.4.1 配置Hadoop启动的系统环境变量 (38) 3.4.2 创建数据目录 (38) 3.4.3启动Hadoop集群 (38) 第4章安装部署Hive (44) 4.1 解压并安装Hive (44) 4.2 安装配置MySQL (45) 4.3 配置Hive (45) 4.4 启动并验证Hive安装 (46) 第5章安装部署HBase (49) 5.1 解压并安装HBase (49) 5.2 配置HBase (50) 5.2.1 修改环境变量hbase-env.sh (50) 5.2.2 修改配置文件hbase-site.xml (50) 5.2.3 设置regionservers (51)

Hadoop安装部署手册

1安装环境介绍1.1软件环境 1)CentOS6.5x64 2)Jdk1.7x64 3)Hadoop2.6.2x64 4)Hbase-0.98.9 5)Zookeeper-3.4.6 1.2集群环境 集群中包括3个节点:1个Master,2个Slave 2安装前的准备 2.1下载JDK 2.2下载Hadoop 2.3下载Zookeeper 2.4下载Hbase 3开始安装 3.1CentOS安装配置 1)安装3台CentOS6.5x64(使用BasicServer模式,其他使用默认配置,安装过程略) 2)Master.Hadoop配置 a) 配置网络

保存,退出(esc+:wq+enter),使配置生效 b) 配置主机名 修改为: c) 配置hosts 修改为: 修改为: 在最后增加如下内容 以上调整,需要重启系统才能生效 g) 配置用户 新建hadoop用户和组,设置hadoop用户密码

id_rsa 和id_rsa.pub ,默认存储在 "/home/hadoop/.ssh"目录下。 a) 把id_rsa.pub 追加到授权的key 里面去 b) 修改 .ssh 目录的权限以及 authorized_keys 的权限 c) 用root 用户登录服务器修改SSH 配置文件"/etc/ssh/sshd_config" 的下列内容 3) Slave1.Hadoop 、Slave1.Hadoop 配置 相同的方式配置Slave1和Slave2的IP 地址,主机名和hosts 文件,新建hadoop 用户和组及用户密码等等操作 3.2 无密码登陆配置 1) 配置Master 无密码登录所有Slave a) 使用hadoop 用户登陆Master.Hadoop b) 把公钥复制所有的Slave 机器上。使用下面的命令格式进行复制公钥 2) 配置Slave 无密码登录Master a) 使用hadoop 用户登陆Slave b) 把公钥复制Master 机器上。使用下面的命令格式进行复制公钥

Hadoop系统操作安装手册

基于网络音乐云Hadoop系统及MapReduce模型管理平台 V1.0 操作手册 北京华康嘉合科技有限公司

目录 一、服务器基础配置 (2) 二、实现Linux的ssh无密码验证配置 (2) 三、修改Linux机器名 (2) 四、安装JDK,并配置环境变量 (3) 五、安装Hadoop,并修改文件的配置 (3) 六、创建Hadoop备份的目录 (5) 七、将Hadoop的bin加入环境变量 (6) 八、修改部分运行文件的权限 (6) 九、格式化Hadoop,启动Hadoop (6) 十、新加datanode的安装步骤 (7)

一、服务器基础配置 首先,需要将服务器IP进行固定。 本文采用主机IP:10.0.0.30,分机:10.0.0.31; 主机名称:namenode,分机名称:datanode; 本文红色字体为终端命令或需修改添加部分。 二、实现Linux的ssh无密码验证配置 1.生成密钥:在namenode(主机)上,使用终端输入ssh-keygen –t rsa,一直回车,生成密钥; 2.在namenode上使用命令cd /root/.ssh进入文件夹,使用ls可查 看两个文件:id_rsa.pub,id_rsa; 3.然后执行cp id_rsa.pub authorized_keys;使用ssh localhost验证是 否成功,第一次需要输入登录密码,以后就不需要输入密码; 4.拷贝密钥: [root@namenode .ssh] #scp authorized_keys 10.0.0.31:/root/.ssh 这是拷贝命令,将namenode上的authorized_keys 拷贝到datanode的/root/.ssh 上; 5.验证是否成功,在namenode上输入ssh 10.0.0.31,第一次连接需 要输入yes,就可以连接到datanode上了,无需使用密码即为成功;此时,系统已登录至datanode下,不在namenode上了,可输入命令exit返回至namenode; 三、修改Linux机器名 1.查看主机名: 在命令行输入:hostname [root@namenode ~]# hostname namenode//这是你的主机名。 2.修改机器名 执行cd /etc/sysconfig ,进如sysconfig目录下 执行vi network,修改network文件(文件修改方法,键盘点击Insert键进入输入模式,修改好文件后,按Esc键退出输入模式,直接输入:w进行文件保存,:q退出编辑模式;也可在文件夹内选择需修改文件直接打开进行文件修改) NETWORKING=yes HOSTNAME=namenode(修改成你需要的)

Linux虚拟机安装手册

Linux培训虚拟机安装手册 1.安装VirtualBox 请在Windows电脑上,安装VirtualBox WIN版本: VirtualBox-xxx-Win.exe 注意,有极少数电脑由于兼容性问题,安装Virtualbox后发现Linux无法启动,这个时候也可以用Vmware。注意在Vmware里面,硬盘选择SATA。Vmware默认推荐的是SCSI,也有极少数电脑SCSI模式无法启动Linux。本文接下来讲解的都是virtualbox下的配置方法,Vmware的类似。 2.安装VirtualBox extension Oracle_VM_VirtualBox_Extension_Pack-xxx.vbox-extpack 3.准备虚拟机镜像 解压Baohua_Linux.vmdk.rar为Baohua_Linux.vmdk。 注意:Baohua_Linux.vmdk.rar是由part1和part2分卷压缩组成的

4.新建虚拟机 运行第1步安装的Oracle VM VirtualBox,点击“新建(N)”按钮创建虚拟机,类型选择Linux,Ubuntu 32位,名称可以取名为“linux-training”。 单击“下一步(N)”,设置内存(设置为1GB左右): 继续单击“下一步(N)”。设置硬盘,注意选择“使用已有的虚拟硬盘文件(U)”,虚拟硬盘文件是第3步解压之后的“Baohua_Linux.vmdk”:

最后,点击“创建”完成虚拟机的构建工作。 依次点击“setting”、“system”、“processor”,设置虚拟机内CPU为双核: 如果启动双核或者多核失败,请进入电脑的BIOS,enable虚拟化支持相关的选项。 5.启动虚拟机 在Virtualbox上选择先前创建的“linux-training”虚拟机并点击“启动”:

Hadoop详细安装配置过程

1.下载并安装安装ssh sudo apt-get install openssh-server openssh-client 3.搭建vsftpd #sudo apt-get update #sudo apt-get install vsftpd 配置参考的开始、关闭和重启 $sudo /etc/vsftpd start #开始 $sudo /etc/vsftpd stop #关闭 $sudo /etc/vsftpd restart #重启 4.安装 sudo chown -R hadoop:hadoop /opt cp /soft/ /opt sudo vi /etc/profile alias untar='tar -zxvf' sudo source /etc/profile source /etc/profile untar jdk* 环境变量配置 # vi /etc/profile ●在profile文件最后加上 # set java environment export JAVA_HOME=/opt/ export CLASSPATH=.:$JAVA_HOME/lib/:$JAVA_HOME/lib/ export PATH=$JAVA_HOME/bin:$PATH 配置完成后,保存退出。 ●不重启,更新命令 #source /etc/profile ●测试是否安装成功 # Java –version 其他问题: 出现unable to resolve host 解决方法 参考 开机时停在Starting sendmail 不动了的解决方案 参考安装软件时出现E: Unable to locate package vsftpd 参考vi/vim 使用方法讲解 参考分类: Hadoop

RedHat_Linux_Ent_5.6安装手册_RHCS安装与配置手册

RedHat Linux Ent 5.6安装手册/RHCS安装与配置手册 目录 一、RHEL5.6系统安装 (2) 二、RHEL5.6系统配置 (17) 2.1 设置时间同步 (17) 2.2 建立useradmin、sysoper、sysadmin用户管理用户与系统监控 (17) 2.3 部署sysoper与useradmin维护脚本 (17) 2.4配置sudo (17) 三、RHEL5.6系统安全加固与系统优化 (18) 四、RHEL5.6 YUM配置 (18) 五、RHCS 5.6 安装与配置 (19) 5.1 服务器设置 (19) 5.2 安装Cluster软件(linux1、linux2) (20) 5.3 在所有节点上配置CLUSTER(linux1、linux2) (20) 5.4 在所有节点上执行如下命令,启动CLUSTER服务 (24) 5.5 查看集群状态 (24) 5.6 手动切换集群服务 (24)

一、RHEL5.6系统安装 1.1将RHEL 5.6光盘放入光驱,设置从光驱启动,如下图按回车。 1.2选择‘Skip’回车

1.3点‘Next’ 1.4点‘Next’ 1.5点‘Next’

1.6选择‘Skip entering Installation Number’,点‘OK’ 1.7选择‘Skip’

1.8选择‘Y es’,再选择‘Create custom layout’,点‘Next’ 按同样的方法建立swap、/ 分驱,大小分别为:物理内存2位、10G

1.10分驱完成之后选择‘Next’ 1.11选择‘Next’

相关文档
相关文档 最新文档