理念篇
穷人和中产阶级为钱而工作，富人让钱为他工作。富人买入资产。穷人只有支出。中产阶级购买自以为是资产的负债。如何才能让自己成为富人，如何才能跑出赚更多花更多的老鼠赛跑呢？
思维模式篇
查理·芒格提出多元思维模型，包括工程学的冗余备份模型，数学的复利模型，物理学和化学的临界点、倾覆力矩、自我催化模型，生物学的现代达尔文综合模型，以及心理学的认知误判模型，这些模型相互强化并极大地放大彼此效应的因素而发明的词组就是“lollapalooza效应”。不同于现代教育中强调专业的单一、独立性，芒格要求大家思考问题从多个角度考虑相互关系，这样才能看清事物的本质。
价值投资
本杰明·格雷厄姆的著作《聪明的投资者》是价值投资的开山之作，里面提到的市场先生的比喻，股票价格围绕价值，股票是公司一部分的理念奠定了价值投资的基础。巴菲特在其之上发扬光大，专注于价格合理、持续成长的伟大公司，耐心长期持有获得了巨大成功。
经济规律
经济是有周期的，有些周期比较短5-8年，所以很多人可以一生中会见到几次，如果稍加注意便能察觉出来；有些周期比较长例如75年，很多人一生也就会遇到一次，这个时候往往会惊慌失措。瑞·达利欧的《债务危机》和《经济机器是如何运作的》是解释经济运行规律的非常好的书籍，能够用非常简明的语言解释清楚非常复杂的事情，并且理清其中的本质。每一次债务危机都不会相同，但又都有很多相同之处，理解和分析过去的危机，能够帮助我们更好理解未来。
小白入门
投资品种
理财投资的品类极其繁杂，债券、股票、黄金、商品期货、外汇、房产等等，其中债券、股票、房产对于普通投资人而言是占比最大的投资品种。巴菲特多次强调对于普通投资者，最好的投资对象就是股票指数基金，如何挑选合适的投资品种，评估个人风险承受能力对于最终的投资收益都至关重要。
他山之石
投资实践
如何进行投资是个非常个性化的事情，首先需要了解自己投资理财的目标，分析自己的优势和能力圈，了解自己的风险承受能力。其次，做好资产配置，这个会对于最终收益产生非常大的影响。
从世界著名的投资人身上学到他们投资的方式和思维方式，可以很好的让你避免误入歧途，同时从他们身上也能获得内心平静的力量，无论牛市还是熊市都能保持平和的心态。
MySQL在过去由于性能高、成本低、可靠性好，已经成为最流行的开源数据库，因此被广泛地应用在Internet上的中小型网站中，是最流行的关系型数据库管理系统，在WEB应用方面MySQL是最好的RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。随着MySQL的不断成熟，它也逐渐用于更多大规模网站和应用，比如维基百科、Google和Facebook等网站。
但被甲骨文公司收购后，Oracle大幅调涨MySQL商业版的售价，且甲骨文公司不再支持另一个自由软件项目OpenSolaris的发展，因此导致自由软件社区们对于Oracle是否还会持续支持MySQL社区版（MySQL之中唯一的免费版本）有所隐忧，因此原先一些使用MySQL的开源软件逐渐转向其它的数据库。例如维基百科已于2013年正式宣布将从MySQL迁移到MariaDB数据库。MySQL的创始人麦克尔·维德纽斯以MySQL为基础，成立分支计划MariaDB。
很多人以为MySQL是最近15年内才出现的数据库，其实MySQL数据库的历史可以追溯到1979年，那时 Bill Gates 退学没多久，微软公司也才刚刚起步，而Larry的Oracle公司也才成立不久。那时有一个天才程序员 Monty Widenius 用 BASIC 设计了一个报表工具，过了不久，又将此工具使用 C 语言重写，移植到 UNIX 平台，当时只是一个底层的面向报表存储引擎名叫Unireg。
MySQL针对不同的用户，分了社区版和企业服务器版，还提供一些其它版本，是属于MySQL相关工具。
MySQL 版本命命机制由三个数字组成，例如mysql-5.6.33-osx10.11-x86_64.tar.gz
rm -rf mydir /删除mydir目录/
cd mydir /进入mydir目录/
cd – /回上一级目录/
cd .. /回父目录，中间有空格/
cd ~ /回根目录/
mv tools tool /把tools目录改名为tool /
ln -s tool bac /给tool目录创建名为bac的符号链接,最熟悉的应该就是FTP中www链接到public_html目录了/
cp -a tool /home/deepvps/www /把tool目录下所有文件复制到www目录下 /
文件操作：
rm go.tar / 删除go.tar文件 /
find mt.cgi / 查找文件名为mt.cgi的文件 /
df –h / 查看磁盘剩余空间,好像没这个必要，除非你太那个了 /
解压缩：
tar xvf wordpress.tar / 解压tar格式的文件 /
tar -tvf myfile.tar / 查看tar文件中包含的文件 /tar cf toole.tar tool / 把tool目录打包为toole.tar文件 /
tar cfz vpser.tar.gz tool / 把tool目录打包且压缩为vpser.tar.gz文件，因为.tar文件几乎是没有压缩过的，MT的.tar.gz文件解压成.tar文件后差不多是10MB /tar jcvf /var/bak/www.tar.bz2 /var/www/ /创建.tar.bz2文件，压缩率高/
tar xjf www.tar.bz2 /解压tar.bz2格式/gzip -d ge.tar.gz / 解压.tar.gz文件为.tar文件 /
unzip phpbb.zip / 解压zip文件，windows下要压缩出一个.tar.gz格式的文件还是有点麻烦的 /
下载：
wget http://soft.deepvps/web/nginx/nginx-0.8.0.tar.gz
/下载远程服务器上的文件到自己的服务器，连上传都省了，服务器不是100M就是1000M的带宽，下载一个2-3兆的MT还不是几十秒的事 /
wget -c http://soft.deepvps/web/nginx/nginx-0.8.0.tar.gz
/ 继续下载上次未下载完的文件 /
进程管理：
ps -aux /ps 进程状态查询命令/
ps命令输出字段的含义：
[list]
[]USER，进程所有者的用户名。
[]PID，进程号，可以唯一标识该进程。
[]%CPU，进程自最近一次刷新以来所占用的CPU时间和总时间的百分比。
[]%MEM，进程使用内存的百分比。
[]VSZ，进程使用的虚拟内存大小，以K为单位。
[]RSS，进程占用的物理内存的总数量，以K为单位。
[]TTY，进程相关的终端名。
[]STAT，进程状态，用(R–运行或准备运行；S–睡眠状态；I–空闲；Z–冻结；D–不间断睡眠；W-进程没有驻留页；T停止或跟踪。)这些字母来表示。
[]START，进程开始运行时间。
[]TIME，进程使用的总CPU时间。
[*]COMMAND，被执行的命令行。
[/list]
ps -aux | grep nginx /在所有进程中，查找nginx的进程/
kill 1234 /1234为进程ID，即ps -aux 中的PID/
killall nginx /killall 通过程序的名字，直接杀死所有进程，nginx为进程名/
Vim操作：
移动类的：
h/j/k/l: 左/下/上/右 移一格
w : 向后词移动 （前面加数字移动多少个词）
b : 向前词移动 （前面加数字移动多少个词）
e : 向后移到词末
ge : 向前移到词末
$: 行末
0: 行首
tx : 向右查找本行的x并移到那儿（大写时向左）
33G : 移到文件的第33行
gg : 文件首行
G : 文件尾行
33% : 文件的33%处
H/M/L : 屏幕的首/中/尾行
zt/zz/zb : 当前行移到屏幕的首/中/底部
跳转：
” : 回到跳转来的地方
CTRL-O : 跳到一个 “较老” 的地方
CTRL-I: 则跳到一个 “较新” 的地方
查找：
/ : 向下查找（后加关键字）
? : 向上查找（后加关键字）
n : 下一条符合的记录
编辑：
i : 转换到插入模式
x : 删除当前字符
. : 重复最后一次的修改操作(同PS里ctrl+f执行滤镜)
u : 撤销操作
CTRL-R : 重做
p : 将删除的字符插入到当前位置(put)
退出保存：
]]>:q : 退出
:q! : 不保存退出
ZZ : 保存后退出
:e! : 放弃修改重新编辑
MERGE 语句具有按条件获取要更新或插入到表中的数据行，然后从一个或多个源头对表进行更新或者向表中插入行两方面的能力。它最经常被用在数据仓库中来移动大量的数据，但它的应用不仅限于数据仓库环境下。这个语句提供的一个很大的附加值在于你可以很方便地把多个操作结合成一个。如果你避免去做那些不是必须做的事情，响应的时间可能得到相应的改善。
简单的说 MERGE 语句就是用来合并 UPDATE 语句和 INSERT 语句的。通过 MERGE 语句，可根据一张表或子查询的连接条件对另外一张表进行查询，连接条件匹配上了就执行 UPDATE，无法匹配就执行 INSERT。这个语句仅需要一次全表扫描就完成了全部工作，执行效率要高于 INSERT + UPDATE。语法：
MERGE INTO target_table
USING {table/view/subquery}
ON(condition)
WHEN MATCHED THEN merge_update_clause
WHEN NOT MATCHED THEN merge_insert_clause;
1.1、UPDATE 和 INSERT 可以只出现一个
只出现 INSERT 的示例：
– 如果课程表中没有“计算机”这门课程则插入这门课程
MERGE INTO demo.t_course t1
USING(SELECT 1 cid,’计算机’ cname FROM DUAL) t2
ON(t1.course_id=t2.cid)
WHEN NOT MATCHED THEN
INSERT(t1.course_id,t1.course_name) VALUES(t2.cid,t2.cname);
只出现 UPDATE 的示例：
– 如果课程表中有“计算机”这门课程则将这门课程的备注改为“工科”
MERGE INTO demo.t_course t1
USING(SELECT 1 cid,’计算机’ cname FROM DUAL) t2
ON(t1.course_name=t2.cname)
WHEN MATCHED THEN
UPDATE SET t1.course_desc=’工科’;
1.2、UPDATE 后面还可以再跟 WHERE
如果课程表中有多个名为“计算机”的课程，而实际上只需要把课程 ID 为 1 的课程备注改为“工科”，上文中只出现 UPDATE 的示例就有逻辑错误了。这种情况的正确示例：
MERGE INTO demo.t_course t1
USING(SELECT 1 cid,’计算机’ cname FROM DUAL) t2
ON(t1.course_name=t2.cname)
WHEN MATCHED THEN
UPDATE SET t1.course_desc=’工科’ WHERE t1.course_id=1;
1.3、UPDATE 和 INSERT 同时出现
如果研发一部有叫“大国”的人，就把他的岗位工资加 200，如果没有就把他添加到研发一部。示例：
MERGE INTO demo.t_staff t1
USING(SELECT ‘010101’ dept_code,’大国’ staff_name FROM DUAL) t2
ON(t1.dept_code=t2.dept_code AND t1.staff_name=t2.staff_name)
WHEN MATCHED THEN
UPDATE SET t1.post_salary=t1.post_salary+200
WHEN NOT MATCHED THEN
INSERT(staff_name, dept_code, gender, birthday, edu_bg, base_salary, post_salary, post_code)
VALUES(‘大国’,’010101’,1,TO_DATE(‘1992-01-15’,’yyyy-mm-dd’),2,2500,4000,’P50’);
假如说员工中没有叫“大国”的，所以第一次执行上面这条语句时，大国会被插入到研发一部；这时候研发一部就已经有“大国”了，如果再执行第二次，“大国”的岗位工资就会被修改成 4200 了。
1.4、UPDATE 之后还可以再删除行
如要把低工资的员工固定薪资上调 500，然后把工资依然低于 5000 的员工数据删除，示例：
MERGE INTO demo.t_staff_salary t1
USING demo.t_staff_low t2
ON(t1.staff_id=t2.staff_id)
WHEN MATCHED THEN
UPDATE SET t1.fixed_salary=t1.fixed_salary+500
DELETE WHERE t1.fixed_salary<5000;
这种语法有三个注意点，如下：
]]>DELETE 必须和 UPDATE 同时出现，且 DELETE WHERE 必须在 UPDATE [WHERE] 之后。
DELETE 只能删除目标表数据，无法删除源表数据。如上例中只能删除 t1 表的数据，无法删除 t2 表的数据。
只有同时满足 ON、UPDATE 的 WHERE 以及 DELETE 的 WHERE 三个条件的记录会被删除。也就是说 DELETE 的作用范围仅为被 UPDATE 过的那些行。
/ 连接与断开服务器 /
mysql -h 地址 -P 端口 -u 用户名 -p 密码
/ 跳过权限验证登录MySQL /
mysqld –skip-grant-tables
– 修改root密码
密码加密函数password()
update mysql.user set password=password(‘root’);
SHOW PROCESSLIST – 显示哪些线程正在运行
SHOW VARIABLES –
/ 数据库操作 / ——————
– 查看当前数据库
select database();
– 显示当前时间、用户名、数据库版本
select now(), user(), version();
– 创建库
create database[ if not exists] 数据库名 数据库选项
数据库选项：
CHARACTER SET charset_name
COLLATE collation_name
– 查看已有库
show databases[ like ‘pattern’]
– 查看当前库信息
show create database 数据库名
– 修改库的选项信息
alter database 库名 选项信息
– 删除库
drop database[ if exists] 数据库名
同时删除该数据库相关的目录及其目录内容
/ 表的操作 / ——————
– 创建表
create [temporary] table[ if not exists] [库名.]表名 ( 表的结构定义 )[ 表选项]
每个字段必须有数据类型
最后一个字段后不能有逗号
temporary 临时表，会话结束时表自动消失
对于字段的定义：
字段名 数据类型 [NOT NULL | NULL] [DEFAULT default_value] [AUTO_INCREMENT] [UNIQUE [KEY] | [PRIMARY] KEY] [COMMENT ‘string’]
– 表选项
– 字符集
CHARSET = charset_name
如果表没有设定，则使用数据库字符集
– 存储引擎
ENGINE = engine_name
表在管理数据时采用的不同的数据结构，结构不同会导致处理方式、提供的特性操作等不同
常见的引擎：InnoDB MyISAM Memory/Heap BDB Merge Example CSV MaxDB Archive
不同的引擎在保存表的结构和数据时采用不同的方式
MyISAM表文件含义：.frm表定义，.MYD表数据，.MYI表索引
InnoDB表文件含义：.frm表定义，表空间数据和日志文件
SHOW ENGINES – 显示存储引擎的状态信息
SHOW ENGINE 引擎名 {LOGS|STATUS} – 显示存储引擎的日志或状态信息
– 数据文件目录
DATA DIRECTORY = ‘目录’
– 索引文件目录
INDEX DIRECTORY = ‘目录’
– 表注释
COMMENT = ‘string’
– 分区选项
PARTITION BY … (详细见手册)
– 查看所有表
SHOW TABLES[ LIKE ‘pattern’]
SHOW TABLES FROM 表名
– 查看表机构
SHOW CREATE TABLE 表名 （信息更详细）
DESC 表名 / DESCRIBE 表名 / EXPLAIN 表名 / SHOW COLUMNS FROM 表名 [LIKE ‘PATTERN’]
SHOW TABLE STATUS [FROM db_name] [LIKE ‘pattern’]
– 修改表
– 修改表本身的选项
ALTER TABLE 表名 表的选项
EG: ALTER TABLE 表名 ENGINE=MYISAM;
– 对表进行重命名
RENAME TABLE 原表名 TO 新表名
RENAME TABLE 原表名 TO 库名.表名 （可将表移动到另一个数据库）
– RENAME可以交换两个表名
– 修改表的字段机构
ALTER TABLE 表名 操作名
– 操作名
ADD[ COLUMN] 字段名 – 增加字段
AFTER 字段名 – 表示增加在该字段名后面
FIRST – 表示增加在第一个
ADD PRIMARY KEY(字段名) – 创建主键
ADD UNIQUE [索引名] (字段名)– 创建唯一索引
ADD INDEX [索引名] (字段名) – 创建普通索引
ADD
DROP[ COLUMN] 字段名 – 删除字段
MODIFY[ COLUMN] 字段名 字段属性 – 支持对字段属性进行修改，不能修改字段名(所有原有属性也需写上)
CHANGE[ COLUMN] 原字段名 新字段名 字段属性 – 支持对字段名修改
DROP PRIMARY KEY – 删除主键(删除主键前需删除其AUTO_INCREMENT属性)
DROP INDEX 索引名 – 删除索引
DROP FOREIGN KEY 外键 – 删除外键
– 删除表
DROP TABLE[ IF EXISTS] 表名 …
– 清空表数据
TRUNCATE [TABLE] 表名
– 复制表结构
CREATE TABLE 表名 LIKE 要复制的表名
– 复制表结构和数据
CREATE TABLE 表名 [AS] SELECT * FROM 要复制的表名
– 检查表是否有错误
CHECK TABLE tbl_name [, tbl_name] … [option] …
– 优化表
OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] …
– 修复表
REPAIR [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] … [QUICK] [EXTENDED] [USE_FRM]
– 分析表
ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] …
/ 数据操作 / ——————
– 增
INSERT [INTO] 表名 [(字段列表)] VALUES (值列表)[, (值列表), …]
– 如果要插入的值列表包含所有字段并且顺序一致，则可以省略字段列表。
– 可同时插入多条数据记录！
REPLACE 与 INSERT 完全一样，可互换。
INSERT [INTO] 表名 SET 字段名=值[, 字段名=值, …]
– 查
SELECT 字段列表 FROM 表名[ 其他子句]
– 可来自多个表的多个字段
– 其他子句可以不使用
– 字段列表可以用*代替，表示所有字段
– 删
DELETE FROM 表名[ 删除条件子句]
没有条件子句，则会删除全部
– 改
UPDATE 表名 SET 字段名=新值[, 字段名=新值] [更新条件]
/ 字符集编码 / ——————
– MySQL、数据库、表、字段均可设置编码
– 数据编码与客户端编码不需一致
SHOW VARIABLES LIKE ‘character_set_%’ – 查看所有字符集编码项
character_set_client 客户端向服务器发送数据时使用的编码
character_set_results 服务器端将结果返回给客户端所使用的编码
character_set_connection 连接层编码
SET 变量名 = 变量值
set character_set_client = gbk;
set character_set_results = gbk;
set character_set_connection = gbk;
SET NAMES GBK; – 相当于完成以上三个设置
– 校对集
校对集用以排序
SHOW CHARACTER SET [LIKE ‘pattern’]/SHOW CHARSET [LIKE ‘pattern’] 查看所有字符集
SHOW COLLATION [LIKE ‘pattern’] 查看所有校对集
charset 字符集编码 设置字符集编码
collate 校对集编码 设置校对集编码
/ 数据类型（列类型） / ——————
数值类型
– a. 整型 ———-
类型 字节 范围（有符号位）
tinyint 1字节 -128 ~ 127 无符号位：0 ~ 255
smallint 2字节 -32768 ~ 32767
mediumint 3字节 -8388608 ~ 8388607
int 4字节
bigint 8字节
int(M) M表示总位数
– b. 浮点型 ———-
类型 字节 范围
float(单精度) 4字节
double(双精度) 8字节
浮点型既支持符号位 unsigned 属性，也支持显示宽度 zerofill 属性。
不同于整型，前后均会补填0.
定义浮点型时，需指定总位数和小数位数。
float(M, D) double(M, D)
M表示总位数，D表示小数位数。
M和D的大小会决定浮点数的范围。不同于整型的固定范围。
M既表示总位数（不包括小数点和正负号），也表示显示宽度（所有显示符号均包括）。
支持科学计数法表示。
浮点数表示近似值。
– c. 定点数 ———-
decimal – 可变长度
decimal(M, D) M也表示总位数，D表示小数位数。
保存一个精确的数值，不会发生数据的改变，不同于浮点数的四舍五入。
将浮点数转换为字符串来保存，每9位数字保存为4个字节。
– b. blob, text ———-
blob 二进制字符串（字节字符串）
tinyblob, blob, mediumblob, longblob
text 非二进制字符串（字符字符串）
tinytext, text, mediumtext, longtext
text 在定义时，不需要定义长度，也不会计算总长度。
text 类型在定义时，不可给default值
– c. binary, varbinary ———-
类似于char和varchar，用于保存二进制字符串，也就是保存字节字符串而非字符字符串。
char, varchar, text 对应 binary, varbinary, blob.
datetime “YYYY-MM-DD hh:mm:ss”
timestamp “YY-MM-DD hh:mm:ss”
“YYYYMMDDhhmmss”
“YYMMDDhhmmss”
YYYYMMDDhhmmss
YYMMDDhhmmss
date “YYYY-MM-DD”
“YY-MM-DD”
“YYYYMMDD”
“YYMMDD”
YYYYMMDD
YYMMDD
time “hh:mm:ss”
“hhmmss”
hhmmss
year “YYYY”
“YY”
YYYY
YY
– 集合（set） ———-
set(val1, val2, val3…)
create table tab ( gender set(‘男’, ‘女’, ‘无’) );
insert into tab values (‘男, 女’);
最多可以有64个不同的成员。以bigint存储，共8个字节。采取位运算的形式。
当创建表时，SET成员值的尾部空格将自动被删除。
/ 选择类型 /
– PHP角度
– IP存储 ———-
/ 列属性（列约束） / ——————
主键
unique 唯一索引（唯一约束）
使得某字段的值也不能重复。
null 约束
null不是数据类型，是列的一个属性。
表示当前列是否可以为null，表示什么都没有。
null, 允许为空。默认。
not null, 不允许为空。
insert into tab values (null, ‘val’);
– 此时表示将第一个字段的值设为null, 取决于该字段是否允许为null
default 默认值属性
当前字段的默认值。
insert into tab values (default, ‘val’); – 此时表示强制使用默认值。
create table tab ( add_time timestamp default current_timestamp );
– 表示将当前时间的时间戳设为默认值。
current_date, current_time
auto_increment 自动增长约束
自动增长必须为索引（主键或unique）
只能存在一个字段为自动增长。
默认为1开始自动增长。可以通过表属性 auto_increment = x进行设置，或 alter table tbl auto_increment = x;
comment 注释
例：create table tab ( id int ) comment ‘注释内容’;
foreign key 外键约束
用于限制主表与从表数据完整性。
alter table t1 add constraint t1_t2_fk foreign key (t1_id) references t2(id);
– 将表t1的t1_id外键关联到表t2的id字段。
– 每个外键都有一个名字，可以通过 constraint 指定
存在外键的表，称之为从表（子表），外键指向的表，称之为主表（父表）。
作用：保持数据一致性，完整性，主要目的是控制存储在外键表（从表）中的数据。
MySQL中，可以对InnoDB引擎使用外键约束：
语法：
foreign key (外键字段） references 主表名 (关联字段) [主表记录删除时的动作] [主表记录更新时的动作]
此时需要检测一个从表的外键需要约束为主表的已存在的值。外键在没有关联的情况下，可以设置为null.前提是该外键列，没有not null。
可以不指定主表记录更改或更新时的动作，那么此时主表的操作被拒绝。
如果指定了 on update 或 on delete：在删除或更新时，有如下几个操作可以选择：
注意，外键只被InnoDB存储引擎所支持。其他引擎是不支持的。
/ 建表规范 / ——————
– Normal Format, NF
/ select / ——————
select [all|distinct] select_expr from -> where -> group by [合计函数] -> having -> order by -> limit
a. select_expr
– 可以用 表示所有字段。
select from tb;
– 可以使用表达式（计算公式、函数调用、字段也是个表达式）
select stu, 29+25, now() from tb;
– 可以为每个列使用别名。适用于简化列标识，避免多个列标识符重复。
b. from 子句
用于标识查询来源。
– 可以为表起别名。使用as关键字。
select from tb1 as tt, tb2 as bb;
– from子句后，可以同时出现多个表。
– 多个表会横向叠加到一起，而数据会形成一个笛卡尔积。
select from tb1, tb2;
c. where 子句
– 从from获得的数据源中进行筛选。
– 整型1表示真，0表示假。
– 表达式由运算符和运算数组成。
– 运算数：变量（字段）、值、函数返回值
– 运算符：
=, <=>, <>, !=, <=, <, >=, >, !, &&, ||,
in (not) null, (not) like, (not) in, (not) between and, is (not), and, or, not, xor
is/is not 加上ture/false/unknown，检验某个值的真假
<=>与<>功能相同，<=>可用于null比较
d. group by 子句, 分组子句
group by 字段/别名 [排序方式]
分组后会进行排序。升序：ASC，降序：DESC
以下[合计函数]需配合 group by 使用：
count 返回不同的非NULL值数目 count(*)、count(字段)
sum 求和
max 求最大值
min 求最小值
avg 求平均值
group_concat 返回带有来自一个组的连接的非NULL值的字符串结果。组内字符串连接。
e. having 子句，条件子句
与 where 功能、用法相同，执行时机不同。
where 在开始时执行检测数据，对原数据进行过滤。
having 对筛选出的结果再次进行过滤。
having 字段必须是查询出来的，where 字段必须是数据表存在的。
where 不可以使用字段的别名，having 可以。因为执行WHERE代码时，可能尚未确定列值。
where 不可以使用合计函数。一般需用合计函数才会用 having
SQL标准要求HAVING必须引用GROUP BY子句中的列或用于合计函数中的列。
f. order by 子句，排序子句
order by 排序字段/别名 排序方式 [,排序字段/别名 排序方式]…
升序：ASC，降序：DESC
支持多个字段的排序。
g. limit 子句，限制结果数量子句
仅对处理好的结果进行数量限制。将处理好的结果的看作是一个集合，按照记录出现的顺序，索引从0开始。
limit 起始位置, 获取条数
省略第一个参数，表示从索引0开始。limit 获取条数
h. distinct, all 选项
distinct 去除重复记录
默认为 all, 全部记录
/ UNION / ——————
将多个select查询的结果组合成一个结果集合。
SELECT … UNION [ALL|DISTINCT] SELECT …
默认 DISTINCT 方式，即所有返回的行都是唯一的
建议，对每个SELECT查询加上小括号包裹。
ORDER BY 排序时，需加上 LIMIT 进行结合。
需要各select查询的字段数量一样。
每个select查询的字段列表(数量、类型)应一致，因为结果中的字段名以第一条select语句为准。
/ 子查询 / ——————
where子查询内的表，不能直接用以更新。
select from tb where money = (select max(money) from tb);
– 列子查询
如果子查询结果返回的是一列。
使用 in 或 not in 完成查询
exists 和 not exists 条件
如果子查询返回数据，则返回1或0。常用于判断条件。
select column1 from t1 where exists (select from t2);
– 行子查询
查询条件是一个行。
select * from t1 where (id, gender) in (select id, gender from t2);
行构造符：(col1, col2, …) 或 ROW(col1, col2, …)
行构造符通常用于与对能返回两个或两个以上列的子查询进行比较。
– 特殊运算符
!= all() 相当于 not in
= some() 相当于 in。any 是 some 的别名
!= some() 不等同于 not in，不等于其中某一个。
all, some 可以配合其他运算符一起使用。
/ 连接查询(join) / ——————
将多个表的字段进行连接，可以指定连接条件。
– 内连接(inner join)
只有数据存在时才能发送连接。即连接结果不能出现空行。
on 表示连接条件。其条件表达式与where类似。也可以省略条件（表示条件永远为真）
也可用where表示连接条件。
还有 using, 但需字段名相同。 using(字段名)
– 交叉连接 cross join
即，没有条件的内连接。
select * from tb1 cross join tb2;
– 外连接(outer join)
select info.id, info.name, info.stu_num, extra_info.hobby, extra_info.sex from info, extra_info where info.stu_num = extra_info.stu_id;
/ 导入导出 / ——————
select * into outfile 文件地址 [控制格式] from 表名; – 导出表数据
load data [local] infile 文件地址 [replace|ignore] into table 表名 [控制格式]; – 导入数据
生成的数据默认的分隔符是制表符
local未指定，则数据文件必须在服务器上
replace 和 ignore 关键词控制对现有的唯一键记录的重复的处理
– 控制格式
fields 控制字段格式
默认：fields terminated by ‘\t’ enclosed by ‘’ escaped by ‘\‘
terminated by ‘string’ – 终止
enclosed by ‘char’ – 包裹
escaped by ‘char’ – 转义
– 示例：
SELECT a,b,a+b INTO OUTFILE ‘/tmp/result.text’
FIELDS TERMINATED BY ‘,’ OPTIONALLY ENCLOSED BY ‘“‘
LINES TERMINATED BY ‘\n’
FROM test_table;
lines 控制行格式
默认：lines terminated by ‘\n’
terminated by ‘string’ – 终止
/ insert / ——————
select语句获得的数据可以用insert插入。
可以省略对列的指定，要求 values () 括号内，提供给了按照列顺序出现的所有字段的值。
或者使用set语法。
insert into tbl_name set field=value,…；
可以一次性使用多个值，采用(), (), ();的形式。
insert into tbl_name values (), (), ();
可以在列值指定时，使用表达式。
insert into tbl_name values (field_value, 10+10, now());
可以使用一个特殊值 default，表示该列使用默认值。
insert into tbl_name values (field_value, default);
可以通过一个查询的结果，作为需要插入的值。
insert into tbl_name select …;
可以指定在插入的值出现主键（或唯一索引）冲突时，更新其他非主键列的信息。
insert into tbl_name values/set/select on duplicate key update 字段=值, …;
/ delete / ——————
DELETE FROM tbl_name [WHERE where_definition] [ORDER BY …] [LIMIT row_count]
按照条件删除
指定删除的最多记录数。Limit
可以通过排序条件删除。order by + limit
支持多表删除，使用类似连接语法。
delete from 需要删除数据多表1，表2 using 表连接操作 条件。
/ truncate / ——————
TRUNCATE [TABLE] tbl_name
清空数据
删除重建表
区别：
1，truncate 是删除表再创建，delete 是逐条删除
2，truncate 重置auto_increment的值。而delete不会
3，truncate 不知道删除了几条，而delete知道。
4，当被用于带分区的表时，truncate 会保留分区
/ 备份与还原 / ——————
备份，将数据的结构与表内数据保存起来。
利用 mysqldump 指令完成。
– 导出
可以-w携带备份条件
– 导入
/ 视图 / ——————
什么是视图：
视图是一个虚拟表，其内容由查询定义。同真实的表一样，视图包含一系列带有名称的列和行数据。但是，视图并不在数据库中以存储的数据值集形式存在。行和列数据来自由定义视图的查询所引用的表，并且在引用视图时动态生成。
视图具有表结构文件，但不存在数据文件。
对其中所引用的基础表来说，视图的作用类似于筛选。定义视图的筛选可以来自当前或其它数据库的一个或多个表，或者其它视图。通过视图进行查询没有任何限制，通过它们进行数据修改时的限制也很少。
视图是存储在数据库中的查询的sql语句，它主要出于两种原因：安全原因，视图可以隐藏一些数据，如：社会保险基金表，可以用视图只显示姓名，地址，而不显示社会保险号和工资数等，另一原因是可使复杂的查询易于理解和使用。
– 创建视图
CREATE [OR REPLACE] [ALGORITHM = {UNDEFINED | MERGE | TEMPTABLE}] VIEW view_name [(column_list)] AS select_statement
– 查看结构
SHOW CREATE VIEW view_name
– 删除视图
– 修改视图结构
– 视图作用
– 视图算法(ALGORITHM)
MERGE 合并
将视图的查询语句，与外部查询需要先合并再执行！
TEMPTABLE 临时表
将视图执行完毕后，形成临时表，再做外层查询！
UNDEFINED 未定义(默认)，指的是MySQL自主去选择相应的算法。
/ 事务(transaction) / ——————
事务是指逻辑上的一组操作，组成这组操作的各个单元，要不全成功要不全失败。
– 事务开启
START TRANSACTION; 或者 BEGIN;
开启事务后，所有被执行的SQL语句均被认作当前事务内的SQL语句。
– 事务提交
COMMIT;
– 事务回滚
ROLLBACK;
如果部分操作发生问题，映射到事务开启前。
– 事务的特性
– 事务的实现
– 事务的原理
利用InnoDB的自动提交(autocommit)特性完成。
普通的MySQL执行语句后，当前的数据提交操作均可被其他客户端可见。
而事务是暂时关闭“自动提交”机制，需要commit提交持久化数据操作。
– 注意
– 保存点
SAVEPOINT 保存点名称 – 设置一个事务保存点
ROLLBACK TO SAVEPOINT 保存点名称 – 回滚到保存点
RELEASE SAVEPOINT 保存点名称 – 删除保存点
– InnoDB自动提交特性设置
SET autocommit = 0|1; 0表示关闭自动提交，1表示开启自动提交。
/ 锁表 /
表锁定只用于防止其它客户端进行不正当地读取和写入
MyISAM 支持表锁，InnoDB 支持行锁
– 锁定
LOCK TABLES tbl_name [AS alias]
– 解锁
UNLOCK TABLES
/ 触发器 / ——————
触发程序是与表有关的命名数据库对象，当该表出现特定事件时，将激活该对象
监听：记录的增加、修改、删除。
– 创建触发器
CREATE TRIGGER trigger_name trigger_time trigger_event ON tbl_name FOR EACH ROW trigger_stmt
参数：
trigger_time是触发程序的动作时间。它可以是 before 或 after，以指明触发程序是在激活它的语句之前或之后触发。
trigger_event指明了激活触发程序的语句的类型
INSERT：将新行插入表时激活触发程序
UPDATE：更改某一行时激活触发程序
DELETE：从表中删除某一行时激活触发程序
tbl_name：监听的表，必须是永久性的表，不能将触发程序与TEMPORARY表或视图关联起来。
trigger_stmt：当触发程序激活时执行的语句。执行多个语句，可使用BEGIN…END复合语句结构
– 删除
DROP TRIGGER [schema_name.]trigger_name
可以使用old和new代替旧的和新的数据
更新操作，更新前是old，更新后是new.
删除操作，只有old.
增加操作，只有new.
– 注意
– 字符连接函数
concat(str1[, str2,…])
– 分支语句
if 条件 then
执行语句
elseif 条件 then
执行语句
else
执行语句
end if;
– 修改最外层语句结束符
delimiter 自定义结束符号
SQL语句
自定义结束符号
delimiter ; – 修改回原来的分号
– 语句块包裹
begin
语句块
end
– 特殊的执行
/ SQL编程 / ——————
–// 局部变量 ———-
– 变量声明
declare var_name[,…] type [default value]
这个语句被用来声明局部变量。要给变量提供一个默认值，请包含一个default子句。值可以被指定为一个表达式，不需要为一个常数。如果没有default子句，初始值为null。
– 赋值
使用 set 和 select into 语句为变量赋值。
–// 全局变量 ———-
– 定义、赋值
set 语句可以定义并为变量赋值。
set @var = value;
也可以使用select into语句为变量初始化并赋值。这样要求select语句只能返回一行，但是可以是多个字段，就意味着同时为多个变量进行赋值，变量的数量需要与查询的列数一致。
还可以把赋值语句看作一个表达式，通过select执行完成。此时为了避免=被当作关系运算符看待，使用:=代替。（set语句可以使用= 和 :=）。
select @var:=20;
select @v1:=id, @v2=name from t1 limit 1;
select * from tbl_name where @var:=30;
select into 可以将表中查询获得的数据赋给变量。
-| select max(height) into @max_height from tb;
– 自定义变量名
为了避免select语句中，用户自定义的变量与系统标识符（通常是字段名）冲突，用户自定义变量在变量名前使用@作为开始符号。
@var=10;
–// 控制结构 ———-
– if语句
if search_condition then
statement_list
[elseif search_condition then
statement_list]
…
[else
statement_list]
end if;
– case语句
CASE value WHEN [compare-value] THEN result
[WHEN [compare-value] THEN result …]
[ELSE result]
END
– while循环
[begin_label:] while search_condition do
statement_list
end while [end_label];
如果需要在循环内提前终止 while循环，则需要使用标签；标签需要成对出现。
– 退出循环
退出整个循环 leave
退出当前循环 iterate
通过退出的标签决定退出哪个循环
–// 内置函数 ———-
– 数值函数
abs(x) – 绝对值 abs(-10.9) = 10
format(x, d) – 格式化千分位数值 format(1234567.456, 2) = 1,234,567.46
ceil(x) – 向上取整 ceil(10.1) = 11
floor(x) – 向下取整 floor (10.1) = 10
round(x) – 四舍五入去整
mod(m, n) – m%n m mod n 求余 10%3=1
pi() – 获得圆周率
pow(m, n) – m^n
sqrt(x) – 算术平方根
rand() – 随机数
truncate(x, d) – 截取d位小数
– 时间日期函数
now(), current_timestamp(); – 当前日期时间
current_date(); – 当前日期
current_time(); – 当前时间
date(‘yyyy-mm-dd hh:ii:ss’); – 获取日期部分
time(‘yyyy-mm-dd hh:ii:ss’); – 获取时间部分
date_format(‘yyyy-mm-dd hh:ii:ss’, ‘%d %y %a %d %m %b %j’); – 格式化时间
unix_timestamp(); – 获得unix时间戳
from_unixtime(); – 从时间戳获得时间
– 字符串函数
length(string) – string长度，字节
char_length(string) – string的字符个数
substring(str, position [,length]) – 从str的position开始,取length个字符
replace(str ,search_str ,replace_str) – 在str中用replace_str替换search_str
instr(string ,substring) – 返回substring首次在string中出现的位置
concat(string [,…]) – 连接字串
charset(str) – 返回字串字符集
lcase(string) – 转换成小写
left(string, length) – 从string2中的左边起取length个字符
load_file(file_name) – 从文件读取内容
locate(substring, string [,start_position]) – 同instr,但可指定开始位置
lpad(string, length, pad) – 重复用pad加在string开头,直到字串长度为length
ltrim(string) – 去除前端空格
repeat(string, count) – 重复count次
rpad(string, length, pad) –在str后用pad补充,直到长度为length
rtrim(string) – 去除后端空格
strcmp(string1 ,string2) – 逐字符比较两字串大小
– 流程函数
case when [condition] then result [when [condition] then result …] [else result] end 多分支
if(expr1,expr2,expr3) 双分支。
– 聚合函数
count()
sum();
max();
min();
avg();
group_concat()
– 其他常用函数
md5();
default();
–// 存储函数，自定义函数 ———-
– 新建
CREATE FUNCTION function_name (参数列表) RETURNS 返回值类型
函数体
– 删除
DROP FUNCTION [IF EXISTS] function_name;
– 查看
SHOW FUNCTION STATUS LIKE ‘partten’
SHOW CREATE FUNCTION function_name;
– 修改
ALTER FUNCTION function_name 函数选项
–// 存储过程，自定义功能 ———-
– 定义
存储存储过程 是一段代码（过程），存储在数据库中的sql组成。
一个存储过程通常用于完成一段业务逻辑，例如报名，交班费，订单入库等。
而一个函数通常专注与某个功能，视为其他程序服务的，需要在其他语句中调用函数才可以，而存储过程不能被其他调用，是自己执行 通过call执行。
– 创建
CREATE PROCEDURE sp_name (参数列表)
过程体
参数列表：不同于函数的参数列表，需要指明参数类型
IN，表示输入型
OUT，表示输出型
INOUT，表示混合型
注意，没有返回值。
/ 存储过程 / ——————
存储过程是一段可执行性代码的集合。相比函数，更偏向于业务逻辑。
调用：CALL 过程名
– 注意
– 参数
IN|OUT|INOUT 参数名 数据类型
IN 输入：在调用过程中，将数据输入到过程体内部的参数
OUT 输出：在调用过程中，将过程体处理完的结果返回到客户端
INOUT 输入输出：既可输入，也可输出
– 语法
CREATE PROCEDURE 过程名 (参数列表)
BEGIN
过程体
END
/ 用户和权限管理 / ——————
用户信息表：mysql.user
– 刷新权限
FLUSH PRIVILEGES
– 增加用户
CREATE USER 用户名 IDENTIFIED BY [PASSWORD] 密码(字符串)
/ 表维护 /
– 分析和存储表的关键字分布
ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE 表名 …
– 检查一个或多个表是否有错误
CHECK TABLE tbl_name [, tbl_name] … [option] …
option = {QUICK | FAST | MEDIUM | EXTENDED | CHANGED}
– 整理数据文件的碎片
OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] …
/ 杂项 / ——————
在经常查询而不经常增删改操作的字段加索引。order by 与 group by 后应直接使用字段，而且字段应该是索引字段。一个表上的索引不应该超过 6 个。索引字段的长度固定，且长度较短。索引字段重复不能过多，如果某个字段为主键，那么这个字段不用设为索引。在过滤性高的字段上加索引。使用索引注意事项：
使用 like 关键字时，前置 % 会导致索引失效。使用 null 值会被自动从索引中排除，索引一般不会建立在有空值的列上。使用 or 关键字时，or 左右字段如果存在一个没有索引，有索引字段也会失效。使用 != 操作符时，将放弃使用索引。因为范围不确定，使用索引效率不高，会被引擎自动改为全表扫描。不要在索引字段进行运算。在使用复合索引时，最左前缀原则，查询时必须使用索引的第一个字段，否则索引失效；并且应尽量让字段顺序与索引顺序一致。避免隐式转换，定义的数据类型与传入的数据类型保持一致。开源的数据分析平台，解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。适合处理非结构化数据，包括HDFS，MapReduce基本组件。
分布式系统基础架构，主要由HDFS和MapReduce两部分组成。HDFS（分布式文件存储系统）用于将一个量级巨大的数据存储 在多台 设备上，并有一定的机制保证其完整和容灾，MapReduce则是通过简单的Mapper和Reducer的抽象提供一个编程模型，可以在一个由几十台上 百台的PC组成的不可靠集群上并发地，分布式地处理大量的数据集。
Saprk
UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架。新一代的大数据处理引擎，提供分布式内存抽象，以支持工作集的应用。
Spark能够运行在现有Hadoop集群之上，但需要依赖于YARN对于资源的调度能力。除了Hadoop YARN之外，Spark还能够以Mesos为基础实现同样的资源调度或者利用自身内置调度程度作为独立集群运行。值得注意的是，如果不将Spark与Hadoop配合使用，那么运行在集群之上时某些网络/分布式文件系统（包括NFS、AFS等）仍然必要，这样每个节点才能够切实访问底层数据。
运行spark-shell查看spark版本。
Spark与Hadoop的对比(Spark的优势)
1、Spark的中间数据放到内存中，对于迭代运算效率更高
2、Spark比Hadoop更通用
3、Spark提供了统一的编程接口
4、容错性– 在分布式数据集计算时通过checkpoint来实现容错
5、可用性– Spark通过提供丰富的Scala, Java，Python API及交互式Shell来提高可用性
6、 为Hadoop将每次处理后的数据都写入到磁盘上。Spark的数据对象存储在分布于数据集群中的叫做弹性分布式数据集(RDD:
Resilient Distributed Dataset)中。这些数据对象既可以放在内存，也可以放在磁盘。
Hadoop与Spark的区别
1、解决问题的层面不一样
首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。
2、两者可合可分
Hadoop除了提供为大家所共识的HDFS分布式数据存储功能之外，还提供了叫做MapReduce的数据处理功能。所以这里我们完全可以抛开Spark，使用Hadoop自身的MapReduce来完成数据的处理。相反，Spark也不是非要依附在Hadoop身上才能生存。但如上所述，毕竟它没有提供文件管理系统，所以，它必须和其他的分布式文件系统进行集 成才能运作。这里我们可以选择Hadoop的HDFS,也可以选择其他的基于云的数据系统平台 。
HDFS
提供了一种跨服务器的弹性数据存储系统。
在本质上，NameNode是HDFS的Master(主服务器)，DataNode是Slave(从服务器)。
NameNode和DataNode:存储到文件系统中的每个文件都有相关联的元数据。元数据包括了文件名、i节点(inode)数、数据块位置等，而数据则是文件的实际内容。其中，元数据存储在NameNode上，而数据存储在DataNode的集群上。
当一切运行正常时，DataNode会周期性发送心跳信息给NameNode(默认是每3秒钟一次)。如果NameNode在预定的时间内没有收到心跳信息(默认是10分钟)，它会认为DataNode出问题了，把它从集群中移除，并且启动一个进程去恢复数据。对于HDFS来说，丢失一个DataNode意味着丢失了存储在它的硬盘上的数据块的副本。假如在任意时间总有超过一个副本存在(默认3个)，故障将不会导致数据丢失。当一个硬盘故障时，HDFS会检测到存储在该硬盘的数据块的副本数量低于要求，然后主动创建需要的副本，以达到满副本数状态。
HDFS数据存储单元（block）
一、文件被切分成固定大小的文件块
1、默认数据大小为64MB，可配置
2、若文件大小不到64MB，则单独存储为一个block
二、一个文件存储方式
1、按大小被切分为若干个block、存储在不同的节点上
2、默认情况下每个block都有三个副本
HDFS不会对用户数据做任何处理，只会存储原文件。不会进行任何压缩处理，唯一做的是多副本存储
副本存储策略：
庞大的HDFS实例一般运行在多个机 架的计算机形成的集群上，不同机架间的两台机器的通讯需要通过交换机，显然通常情况下，同一个机架内的两个节点间的带宽会比不同机架间的两台机器的带宽大。如果数据中心只有一个机架，那么该副本放置策略就退化为一个随机选择策略，数据块的均匀分布和可靠性就很难被保证。
通过一个称为Rack Awareness的过程，Namenode决定了每个Datanode所属的rack id。一个简单但没有优化的策略就是将副本存放在单独的机架上。这样可以防止整个机架（非副本存放）失效的情况，并且允许读数据的时候可以从多个机架读 取。这个简单策略设置可以将副本分布在集群中，有利于组件失败情况下的负载均衡。但是，这个简单策略加大了写的代价，因为一个写操作需要传输block到 多个机架。
在大多数情况下，replication因子是3，HDFS的存放策略是将一个副本存放在本地机架上的节点，一个副本放在同一机架上的另一个节点，最后一 个副本放在不同机架上的一个节点。机架的错误远远比节点的错误少，这个策略不会影响到数据的可靠性和有效性。三分之一的副本在一个节点上，三分之二在一个 机架上，其他保存在剩下的机架中，这一策略改进了写的性能。
副本恢复：
Namenode启动后会进入一个称为SafeMode的特殊状态，处在这个状态的Namenode是不会进行数据块的复制的。Namenode从所有的 Datanode接收心跳包和Blockreport。Blockreport包括了某个Datanode所有的数据块列表。每个block都有指定的最 小数目的副本。当Namenode检测确认某个Datanode的数据块副本的最小数目，那么该Datanode就会被认为是安全的；如果一定百分比（这 个参数可配置）的数据块检测确认是安全的，那么Namenode将退出SafeMode状态，接下来它会确定还有哪些数据块的副本没有达到指定数目，并将 这些block复制到其他Datanode。
MapReduce
技术提供了感知数据位置的标准化处理流程：读取数据，对数据进行映射（Map），使用某个键值对数据进行重排，然后对数据进行化简（Reduce）得到最终的输出。
Pig
分析大数据集的一个平台，该平台由一种表达数据分析程序的高级语言和对这些程序进行评估的基础设施一起组成。
Hive
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
Hive跟hbase在功能上也有小部分重叠的地方，它们的主要区别是：Hbase本质是一个数据库，提供在存储层的低延时数据读写能力，可用在实时场景，但没有提供类SQL语言的查询方式，所以数据查询和计算不太方便（PIG学习成本较高）。
hive本质是将SQL语句映射成MapReduce作业，延时较高但使用方便，适合离线场景，自身不做存储。此外，hive可以搭建在Hbase之上，访问Hbase的数据。
Hive和传统的关系型数据库有很大的区别，Hive将外部的任务解析成一个MapReduce可执行计划，而启动MapReduce是一个高延迟的一件事，每次提交任务和执行任务都需要消耗很多时间，这也就决定Hive只能处理一些高延迟的应用（如果你想处理低延迟的应用，你可以去考虑一下Hbase）。
HiveQL和SQL是非常相似的，最主要的区别就是Hive缺少更新和删除功能。
Hive就是一款分析历史数据的利器。但是Hive只有在结构化数据的情况下才能大显神威。Hive的软肋是实时分析，如果想要进行实时分析，可以采用HBase。
Hbase
一种分布的、可伸缩的、大数据储存库，支持随机、实时读/写访问。
HBase 数据库是一个基于分布式的、面向列的、主要用于非结构化数据存储用途的开源数据库。其设计思路来源于 Google 的非开源数据库”BigTable”。
HBase作为面向列的数据库运行在HDFS之上，HDFS缺乏随机读写操作，HBase正是为此而出现。如果你需要实时访问一些数据，就把它存入HBase。
HDFS 为 HBase 提供底层存储支持，MapReduce 为其提供计算能力，ZooKeeper 为其提供协调服务和 failover（失效转移的备份操作）机制。Pig 和 Hive 为 HBase 提供了高层语言支持，使其可以进行数据统计（可实现多表 join 等），Sqoop 则为其提供 RDBMS 数据导入功能。
可以用Hive作为静态数据仓库，HBase作为数据存储，放那些进行一些会改变的数据。
Hbase 的模块： 原子性(是指不会被线程调度机制打断的操作，这种操作一旦开始，就一直运行到结束，中间不会有任何contextswitch(切换到领一个线程))，一致性，隔离性，持久性。
Sqoop
为高效传输批量数据而设计的一种工具，其用于Apache Hadoop和结构化数据储存库如关系数据库之间的数据传输。Sqoop则为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据向HBase中迁移变的非常方便。
Flume
一种分布式的、可靠的、可用的服务，其用于高效地搜集、汇总、移动大量日志数据。
ZooKeeper
一种集中服务，其用于维护配置信息，命名，提供分布式同步，以及提供分组服务。
Zookeeper是提供数据同步服务，Yarn和Hbase需要它的支持。
Cloudera
最成型的Hadoop发行版本，拥有最多的部署案例。提供强大的部署、管理和监控工具。开发并贡献了可实时处理大数据的Impala项目。
Hortonworks
使用了100%开源Apache Hadoop提供商。开发了很多增强特性并提交至核心主干，这使得Hadoop能够在包括Windows Server和Azure在内平台上本地运行。
MapR
获取更好的性能和易用性而支持本地Unix文件系统而不是HDFS。提供诸如快照、镜像或有状态的故障恢复等高可用性特性。领导着Apache Drill项目，是Google的Dremel的开源实现，目的是执行类似SQL的查询以提供实时处理。
Impala
]]>Cloudera公司主导开发的新型查询系统，它提供SQL语义，能够查询存储在Hadoop的HDFS和HBase中的PB级大数据，号称比Hive快5-10倍
Impala是对hive的一个补充，可以实现高效的SQL查询。
关闭sendmial service sendmail stop 关闭开机启动 chkconfig sendmail off
关闭postfix service postfix stop 关闭开机启动 chkconfig postfix off
ubunut上mailx这个命令对应的deb包有bsd-mailx和heirloom-mailx
heirloom-mailx对应的配置文件是/etc/mail.rc。
配置过程如下：
第一步：在163邮箱设置–>账户中开启pop3/smtp服务，并记下客户端授权密码
第二步：apt-get install heirloom-mailx
第三步：vim /etc/mail.rc 在文件最后添加你的邮箱信息:
(可选1)使用网易SMTP服务（经常被误认为垃圾邮件）：
set from=150`*`@163.com
set smtp=smtp.163.com
set smtp-auth-user=150*@163.com
set smtp-auth-password=Your password (此处为客户端授权密码，很重要)
set smtp-auth-login
(可选2)使用QQ邮箱SMTP服务：
获取证书文件：
mkdir -p /root/.certs/
echo -n | openssl s_client -connect 14.18.245.164:465 | sed -ne ‘/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p’ > ~/.certs/qq.crt
certutil -A -n “GeoTrust SSL CA” -t “C,,” -d ~/.certs -i ~/.certs/qq.crt
certutil -A -n “GeoTrust Global CA” -t “C,,” -d ~/.certs -i ~/.certs/qq.crt
certutil -L -d /root/.certs
mail.rc的配置文件
set from=150`*`@qq.com
set smtp=14.18.245.164
set smtp-auth-user=150*@qq.com
set smtp-auth-password=eovkfdykxchfbagf
set smtp-auth-login
set smtp-use-starttls
set ssl-verify=ignore
set nss-config-dir=/root/.certs
备注：出现“ Error initializing NSS: Unknown error -8015.”是因为用户权限的问题。
解决办法：chmod -R 777 /root/.certs
qq发信失败代码解释：http://service.exmail.qq.com/cgi-bin/help?id=20022
第四步：直接发送邮件：
mailx -s ‘test a mail’ 277`*`@qq.com <0920_check.log （符号<和文件名之间千万不要有空格，否则会被列为垃圾邮件）
新的导出工具/导入工具也都是命令行工具，调用的方法与传统的导出工具/导入工具相同，新的命令分别是EXPDP和IMPDP。从表面来看，EXPDP/IMPDP 命令与 EXP/IMP 命令最显著的不同就是参数变复杂了！本节将从与 EXP/IMP 命令对比的角度，讲述我在使用新命令（参数）时的一些心得体会。
exclude：新增，排除特定类型对象。下面给出几个典型的排除表达式写法供大家参考：exclude=statistics 排除统计信息。exclude=sequence,trigger 排除序列和触发器。exclude=table:\"= 'T_STAFF'\" 排除 T_STAFF 表。exclude=table:\"IN ('T_STAFF','T_COURSE')\" 排除 T_STAFF 表和 T_COURSE 表。exclude=table:\"> 'T'\" 排除开头字母大于 T 的表。exclude=procedure:\"LIKE 'SP_%'\" 排除以 SP_开头的存储过程。exclude=index,view,table:\"= 'T_STAFF'\" 排除索引、视图和 T_STAFF 表。
include：新增，包含特定类型对象。参数值表达式写法请参考 exclude 参数。
expdp demo/test directory=dump dumpfile=dat1.dmp logfile=log1.log full=yimpdp demo/test directory=dump dumpfile=dat1.dmp logfile=log1.log full=y
expdp demo/test directory=dump dumpfile=dat2.dmp logfile=log2.log schemas=demoimpdp demo/test directory=dump dumpfile=dat2.dmp logfile=log2.log schemas=demo
expdp demo/test directory=dump dumpfile=dat3.dmp logfile=log3.log tablespaces=usersimpdp demo/test directory=dump dumpfile=dat3.dmp logfile=log3.log tablespaces=users
expdp demo/test directory=dump dumpfile=dat4.dmp logfile=log4.log tables=t_staff,t_courseimpdp demo/test directory=dump dumpfile=dat4.dmp logfile=log4.log tables=t_staff,t_course
expdp demo/test directory=dump dumpfile=dat5.dmp tables=t_staff query=\" WHERE birthday>=TO_DATE('1990-01-01','yyyy-mm-dd')\"impdp demo/test directory=dump dumpfile=dat5.dmp tables=t_staff query=\" WHERE birthday>=TO_DATE('1990-01-01','yyyy-mm-dd')\"
expdp demo/test directory=dump dumpfile=nolog.dmp schemas=demo nologfile=y
expdp demo/test directory=dump dumpfile=data.dmp logfile=data.log schemas=demo content=data_only
expdp demo/test directory=dump logfile=estimate.log schemas=demo estimate=statistics estimate_only=y
expdp demo/test directory=dump dumpfile=staff.dmp logfile=staff.log tables=t_staff content=metadata_only
expdp demo/test directory=dump dumpfile=parallel.dmp logfile=parallel.log schemas=demo parallel=2 job_name=parallel
impdp demo/test directory=dump dumpfile=dat2.dmp reuse_datafiles=y
impdp demo/test directory=dump dumpfile=dat2.dmp schemas=demo sqlfile=dat2.sql
资源
free -m 查看内存使用量和交换区使用量
df -h 查看各分区使用情况
du -sh <目录名> 查看指定目录的大小
grep MemTotal /proc/meminfo 查看内存总量
grep MemFree /proc/meminfo 查看空闲内存量
uptime 查看系统运行时间、用户数、负载
cat /proc/loadavg 查看系统负载
磁盘和分区
mount | column -t 查看挂接的分区状态
fdisk -l 查看所有分区
swapon -s 查看所有交换分区
hdparm -i /dev/hda 查看磁盘参数(仅适用于IDE设备)
dmesg | grep IDE 查看启动时IDE设备检测状况
网络
ifconfig 查看所有网络接口的属性
iptables -L 查看防火墙设置
route -n 查看路由表
netstat -lntp 查看所有监听端口
netstat -antp 查看所有已经建立的连接
netstat -s 查看网络统计信息
进程
ps -ef 查看所有进程
top 实时显示进程状态
用户
w 查看活动用户
id <用户名> 查看指定用户信息
last 查看用户登录日志
cut -d: -f1 /etc/passwd 查看系统所有用户
cut -d: -f1 /etc/group 查看系统所有组
crontab -l 查看当前用户的计划任务
服务
chkconfig –list 列出所有系统服务
chkconfig –list | grep on 列出所有启动的系统服务
程序
rpm -qa 查看所有安装的软件包
]]>