高效实现数据仓库的七个步骤
数据仓库和我们常见的RDBMS系统有些亲缘关系,但它又有所不同。如 果你没有实施过数据仓库,那么从设定目标到给出设计,从创建数据结构到编写数据分析程序,再到面对挑剔的用户的评估,整个过程都会带给你一种与以往的项目 完全不同的体验。一句话,如果你试图以旧有的方式创建数据仓库,那你所面对的不是预算超支就是所建立的数据仓库无法良好运作。
在处理一个数据仓库项目时需要注意的问题很多,但同时也有很多有建设性的参考可以帮助你更顺利的完成任务。开放思维,不断尝试新的途径,对于找到一种可行的数据仓库实现方法来说也是必需的。
1. 配备一个全职的项目经理或你自己全面负责项 ...
#!/bin/sh
#FM
#2008-08-26
#This script will batch insert data into partitioned views table per 90 000
#It will import all of old_views data into views
#the old_views contains 398372489 rows
#
v_startID=1
v_endID=900000
v_seq=900000
v_begin=1
for ((i=1;i<443;i++))
do
psql adchap_dat ...
- 16:31
- 浏览 (7)
- 评论 (0)
- 分类: Linux/Unix服务器管理
1.编写脚本AddTableToPartition.sh
该脚本每天自动生成两个文件,一个是数据库建表以及规则的DDL脚本
一个是调用slony集群命令slonik的脚本
#!/usr/bin/perl -w
#
#
use strict;
use POSIX qw(strftime);
$| = 1;
my $tk = time;
my $date = strftime "%Y%m%d", localtime($tk);
my $date_2 = strftime "%Y-%m-%d", localtime($tk);
my $sql_file = ' ...
- 12:08
- 浏览 (8)
- 评论 (0)
- 分类: 数据库(Postgresql等)
#导出数据
pg_dump -a -t geoip_location -F c -f dataware_geoip_location.pgsql -Z 9 dbname
#a 仅仅导出数据
#t 表名字
#F 格式
#Z 压缩
#导入
pg_restore -i -a -t geoip_location -h localhost -U adchap_test -d adwebuidb -v dataware_geoip_location.pgsql
- 18:09
- 浏览 (11)
- 评论 (0)
- 分类: 数据库(Postgresql等)
su - postgres
psql db_name
//以,分隔数据
db_name=#>\f ','
//output format
db_name=#>\a
//output rows
db_name=#>\t
//output file and path
db_name=#>\o /tmp/foo.csv
//query statment
db_name=#> select * from views limit 1;
//close
db_name=#>\o
使用COPY命令装载入新表
copy views_bak from '/tmp ...
- 11:51
- 浏览 (15)
- 评论 (0)
- 分类: 数据库(Postgresql等)
public boolean checkEmail(String mail){
String regex = "\\w+([-+.]\\w+)*@\\w+([-.]\\w+)*\\.\\w+([-.]\\w+)*";
Pattern p = Pattern.compile(regex);
Matcher m = p.matcher(mail);
return m.find();
}
首先点击“开始→运行”,在运行框中输入gpedit.msc回车(仅限Windows 2000/XP/2003)打开“组策略编辑器”,然后点击展开左侧分支并定位至“‘本地计算机’策略→计算机配置→治理模板→Windows组件 →Windows Update”,双击右侧窗格的“重新提示计划安装后的重启动”,在弹出框的“设置”选项卡中选择“已启用”,将下方的“在再次提示计划安装后的重启动前等待下面的时间(分钟)”设置为一个较大的数字,如600,这样就不会频繁提示重启了。另外你也可以完全禁用重启提示,双击“计划的自动更新安装后不自动重启动”,选择“已启用”即可。
- 11:05
- 浏览 (21)
- 评论 (0)
公司数据库中某表数据量达到了4亿多条,在增加索引以及相关的初步优化后效果不理想。因此,决定采用PostgresSQL的表分区,按照日期将该表的数据分散到各个分区上。
在分区表以及各个子表全部建立完毕后,发现服务器硬盘不足。那个大表大概占据了83G左右的空间,而服务器只有43G可用。如果,直接采用insert into new_table select * from old_table的话,势必会造成服务器硬盘空间不够。而如果向公司申请新增硬盘的话,整个流程相当复杂,再说了,如果把数据完全导入到新的分区表中的话,旧表就没用了。
第一次尝试,自己写了数据库程序按照10k为单位进行导入,放入事务 ...
- 22:28
- 浏览 (27)
- 评论 (0)
- 分类: 数据库(Postgresql等)
select relname from pg_class where relname like 'views_2%';
- 20:29
- 浏览 (20)
- 评论 (0)
- 分类: 数据库(Postgresql等)
psql database_tst
//将查询语句写入文件
database_tst=#>\w /tmp/write.txt
database_tst=#>select * from views;
//将查询结果写入文件
database_tst=#>\o /tmp/write.txt
database_tst=#>select * from views;
//列状显示
database_tst=#>\x
database_tst=#>select * from views;
/?
//查询更多用法
将SQL查询结果导出为数据文件:
1. 首先创建一个临时 ...
- 10:35
- 浏览 (19)
- 评论 (0)
- 分类: 数据库(Postgresql等)
- 浏览: 5707 次
- 性别:

- 来自: 北京

- 详细资料
搜索本博客
最近加入圈子
最新评论
-
struts+hibernate+laszlo ...
能给看看你的发布配置文档和开发心得么?
-- by xuan_myg -
struts+hibernate+laszlo ...
可以把你的成果发给我看看吗?小弟很想学
-- by aixinyi -
struts+hibernate+laszlo ...
LZ,struts+hibernate+laszlo研究得怎么样了?你开发过程中 ...
-- by wangx1949 -
Xfire 和 Openlaszlo 整合 ...
我的jfreechart包是java的一个开源的生成柱状图,曲线图等图形的一个包 ...
-- by lovejuan1314 -
Xfire 和 Openlaszlo 整合 ...
想知道你的jfreechart包是做什么的,图表吗?什么格式的?
-- by lwz7512






评论排行榜