当前位置：首页 > 范文大全 > 实用文>关于expdp导出远程数据到本地的使用

关于expdp导出远程数据到本地的使用

2023-07-21 08:05:10 收藏本文下载本文

“活着就要吃饭”通过精心收集，向本站投稿了7篇关于expdp导出远程数据到本地的使用，下面小编给大家整理后的关于expdp导出远程数据到本地的使用，欢迎阅读!

关于expdp导出远程数据到本地的使用

篇1：关于expdp导出远程数据到本地的使用

关于expdp导出远程数据到本地的使用

对于数据的导出，导入，对于exp/imp可以实现把远程数据导入到客户端，但是功能没有expdp/impdp强大

对于expdp/impdp功能很强大，但是对于导出的数据只能是在服务端。下面我们就基于通过expdp结合dblink

把数据直接导出到本地下面使用导出

如果空间允许建议导出到服务器

# 对于orac_remote是一个本地命名，可以通过netca进行配置，或者直接修改相关配置文件# 需要保持orac_remote的system用户是open状态，并且密码是正确的# 可以通过 select * from scott.emp@to_orac_remote 进行测试，如果不成功，需要检查权限和用户已经命名空间orac_remote

1 创建dblink 连接create database link to_orac_remoteconnect to system identified by gpecnew using 'orac_remote'2 创建directory目录create directory backup as '/backup'grant read,write on directory backup to system3 编写expdp的parfile参数文件 scott.paruserid=system/rootdirectory=backupdumpfile=scott.dumplogfile=scott.logschemas=scottnetwork_link=to_orac_remote4 执行命令导出到本地expdp parfile=scott.par5 导入到本地(测试的时候先在本地删除scott用户以及所有的表 drop user scott cascade)impdp system/root directory=backup dumpfile=scott.dump logfile=scott2.log

篇2：linux下使用ssh远程执行命令批量导出数据库到本地

这篇文章主要介绍了linux下使用ssh远程执行命令批量导出数据库到本地,需要的朋友可以参考下

前天正在跟前端的同事调试功能，服务器开好，模拟的玩家登录好，就在倒计时。这时突然运营的同事跑过来说要统计几个服务器玩家的一些情况，也就是需要从几个服的数据库导出部分玩家的数据。好吧，我看了一下时间，11：47。心想，跟前端调试完，去吃个饭再午休一下那就下午再给吧。没想对方来一句“就导个数据库而已，要这么久么？”，而且还是直接跟我上司说的。我嚓，好吧，我导。可问题来了，平时的统计是由php做的，批量部署这些是由运维做的。服务端完全没有对应的工具。而且服务器是在阿里云上的，数据库的用户是限制了ip段登录的，我所在的ip没法登录的。于是，只好终止调试，切ip，写sql,然后用navicat手动一个个服务器导出数据到excel。

事后想想，还是写个脚本吧，不然以后还是会被坑的。

从环境来看，数据库不能直接登录，没法直接导出。不过可以由运维提供key通过ssh登录到远程服务器再将数据导出到本地。

先配置ssh通过key登录服务器。这里略过...

然后就是通过ssh执行命令。先看一下ssh的帮助文档：

usage: ssh [-1246AaCfgKkMNnqsTtVvXxYy] [-b bind_address] [-c cipher_spec][-D [bind_address:]port] [-E log_file] [-e escape_char][-F configfile] [-I pkcs11] [-i identity_file][-L [bind_address:]port:host:hostport] [-l login_name] [-m mac_spec][-O ctl_cmd] [-o option] [-p port][-Q cipher | cipher-auth | mac | kex | key][-R [bind_address:]port:host:hostport] [-S ctl_path] [-W host:port][-w local_tun[:remote_tun]] [user@]hostname [command]

最后一项就是执行指令的。假如远程服务器地址为180.97.33.108，开启的ssh端口为998，ssh用户名为xzc，然后想通过在远程服务器上执行命令ls，那么脚本应该这么写：

代码如下:

ssh xzc@180.97.33.108 -p 998 “ls”

如果ssh的认证key已配置好，那么会把登录后当前目录下的文件列出来，当然第一次登录会提示保存远程服务器的指纹。现在是要导出数据库的数据，那么需要把ls命令换成导出数据库的命令。

代码如下:

echo “select * from user;” | mysql xzc_db -uxzc -pxzcpwd

#或者

mysql xzc_db -uxzc -pxzcpwd -e “select * from user”

上面两命令都可以使用数据库用户xzc，密码xzcpwd从数据库xzc_db打印出user表，使用的是默认的本地数据库地址localhost，默认的端口。如果不是默认，需要指定。

登录OK了，打印也OK了，那么下一步就是导出到文件了。这在bash也就是一个 >的事。把上面的命令拼起来就是：

代码如下:

ssh xzc@180.97.33.108 -p 998 ‘echo “select * from user;” | mysql xzc_db -uxzc -pxzcpwd‘ >user.txt

这样就把user表导出来本地的user.txt中了。注意“>user.txt”如果放到 ‘‘里则是在远程服务器执行，导出的文件在远程服务器。文件现在也有了，不过是txt，这样交给运营不太好吧。那就导出excel吧。不过遗憾的是我查了N多资料，也找不到mysql不依赖第三方插件或工具导出原生excel的方法。而navicat导出的可是货真价实的excel，如果用notepad++之类的文本工具打开是会乱码的，并且导出的文件不会有编码问题。幸好如果一个txt以tab分割的话，excel也是能认得出来的。于是把user.txt改名user.xls就可以了。但这样做的问题是excel会按自己的方式处理内容的。比如把一个很大的数字转换成科学记数法形式。这些都得手动去处理一下了。

最后，就是写成脚本批量操作了，

附上我使用的脚本一个：

#!/bin/bash# 通过ssh远程执行远程指令# 需要先部署key认证，保证ssh只需要ip、port即可连接# 如果需要和远程服务器交互，请参考ssh的-t、-tt参数# 如果需要反复登录服务器执行多条指令，请使用ssh的通道重用# 参考：en.wikibooks.org/wiki/OpenSSH/Cookbook/Multiplexing# 使用通道需要注意退出通道，如“ssh github.com -O exit”或者“ssh github.com -O stop”# --by coding my life#分别设置ssh用户名、数据库用户名、数据库密码、导出数据SSH_USER=‘xzc_ssh‘DB_USER=‘xzc_db‘DB_PWD=‘xzc_db_pwd123‘EXP_PATH=export_data/# 执行远程命令# $1 服务器ip# $2 ssh端口# $3 指令function exec_remote_command{ ssh $SSH_USER@$1 -p $2 ‘$3‘}# 执行远程sql,导出数据# $1 服务器ip# $2 ssh端口# $3 指令,多个sql指令如select * from user;select * from bag;也可执行，但结果将会写到同一个文件# s4 服务器# $5 导出文件function export_remote_sql(){ echo export from $4 ... cmd=“echo \”$3\“ | mysql $4 -u$DB_USER -p$DB_PWD --default-character-set=utf8” ssh $SSH_USER@$1 -p $2 “$cmd” >$EXP_PATH$4_$5 #如果要导出到远程服务器，将把 >$EXP_PATH$4_$5放到cmd中}# $1 区服名# $2 ip# $3 端口function exec_sqls(){ cat SQLS | while read sql ; dofc=${sql:0:1} if [ “#” == “$fc” ]; then #被注释的不处理continue fi #sql语句中包含空格，不能再以空格来区分。最后一个空格后的是导出的文件名 exp_file=“${sql##* }” #两个#表示正则以最大长度匹配*和一个空格(*后面的空格),截取余下的赋值给exp_file sql_cmd=“${sql%% $exp_file}” #两个%表示从右至左删除%%以后的内容 export_remote_sql $2 $3 “$sql_cmd” $1 “$exp_file” done}# 需要在当前目录下创建服务器列表文件SERVERS,格式为“数据库名 ip ssh端口”,如“xzc_game_s99 127.0.0.1 22”# 需要在当前目录下创建sql命令列表文件SQLS,格式为“sql语句导出的文件”,如“select * from user; user.xls”# 多个sql请注意用;分开，sql必须以;结束# 文件名中不能包含空格，最终导出的文件为“数据库名_文件名”,如“xzc_game_s99_user.xls”mkdir -p $EXP_PATHcat SERVERS | while read server ; do fc=${server:0:1} if [ “#” == “$fc” ]; then #被注释的不处理 continue fi name=`echo $server|awk ‘{print $1}‘` ip=`echo $server|awk ‘{print $2}‘` port=`echo $server|awk ‘{print $3}‘` exec_sqls $name $ip $portdone

当前目录下的文件如下，其中SERVERS是服务器列表，里面指定数据库名，ip，ss端口，SQLS则指定sql指令及导出的文件名。这两个文件里以#开头的都不会处理：

xzc@xzc-HP-ProBook-4446s:~/桌面/remote_cmd$ lsremote_cmd.sh SERVERS SQLSxzc@xzc-HP-ProBook-4446s:~/桌面/remote_cmd$ cat SERVERS xzc_game_s99 120.0.0.99 6162xzc_game_s91 120.0.0.91 6162xzc_game_s92 120.0.0.92 6162xzc_game_s93 120.0.0.93 6162xzc_game_s94 120.0.0.94 6162#xzc_game_s91 120.0.0.91 6162xzc@xzc-HP-ProBook-4446s:~/桌面/remote_cmd$ cat SQLS #select * money from money; money.xlsselect * from user; user.xlsxzc@xzc-HP-ProBook-4446s:~/桌面/remote_cmd$

到这里，脚本基本完成了要求。

篇3：使用PHP导出Google Analytics数据

上篇文章介绍了一个Excel导出Google Analytics 数据，这一篇算是进阶，教你怎么使用PHP 导出Google Analytics数据，

关于Google Analytics接口的介绍请看这里：Google Analytic 数据导出API接口

GAPI 即 Google Analytics PHP5 Interface的主要功能有：

自动选择连接方式是curl或fopen

支持GA维度指标数据

账户数据映射-获得参数的方法

报告数据映射-获得维度和指标的方法

容易使用的过滤器

面向对象的代码可以让你在其他系统中使用。

GAPI使用示例：

<?phpdefine('ga_email','username@gmail.com');define('ga_password','password');define('ga_profile_id_cn_0','1234567'); require 'gapi.class.php'; $start = mktime(0,0,0,date(“m”),date(“d”)-30,date(“Y”));$end = mktime(0,0,0,date(“m”),date(“d”)-2,date(“Y”));$start_date = date(“Y-m-d”,$start);$end_date = date(“Y-m-d”,$end);$ga = new gapi(ga_email,ga_password,isset($_SESSION['ga_auth_token'])?$_SESSION['ga_auth_token']:null);$_SESSION['ga_auth_token'] = $ga->getAuthToken();?> EDM流量数据 EDM流量数据

<?php $filter = “medium==edm”;?><?php $ga->requestReportData(ga_profile_id_cn_0,array('date'),array('visits','pageviews','bounces','entrances','goal1Completions','goal2Completions','goal3Completions','goal4Completions','goal5Completions'),'-date',$filter,$start_date,$end_date); ?><?php foreach($ga->getResults() as $result):?><?php endforeach;?>

日期	访问者	浏览量	跳出率	订单数
<?php echo $result; ?>	<?php echo $result->getVisits(); ?>	<?php echo $result->getPageviews(); ?>	<?php echo round($result->getBounces()/$result->getEntrances()*100,2).'%'; ?>	<?php echo $result->getGoal1Completions() ?>

官方地址：code.google.com/p/gapi-google-analytics-php-interface/

GA维度和指标：code.google.com/intl/en/apis/analytics/docs/gdata/gdataReferenceDimensionsMetrics.html

篇4：导出数据到Excel的几种方法

2.网上有好多关于用SQL语句导入导出的例子，这里不再重复写了，

方法1:调用com组件,导出access数据到Excel,就是直接调用access的导出功能,此方法速度超级快

using Access;

Access.ApplicationClass oAccess = new Access.ApplicationClass;

oAccess.Visible = false;

try

{

//ACCESS9:

oAccess.OpenCurrentDatabase(“d:wcf.mdb”,false,“”);

//导出到excel

oAccess.DoCmd.TransferSpreadsheet(Access.AcDataTransferType.acExport,Access.AcSpreadSheetType.acSpreadsheetTypeExcel9,“工作表名”,“d:wcf.xls”,true,null,null);

//导入txt

// oAccess.DoCmd.TransferText(Access.AcTextTransferType.acExportDelim,“”,“Enterprise”,“d:wcf.txt”,true,“”,0);

oAccess.CloseCurrentDatabase();

oAccess.DoCmd.Quit(Access.AcQuitOption.acQuitSaveNone);

System.Runtime.InteropServices.Marshal.ReleaseComObject (oAccess);

oAccess = null;

MessageBox.Show(“导入成功”);

}

catch(Exception ex)

{

MessageBox.Show(ex.ToString());

}

finally

{

GC.Collect();

}

方法2：此方法速度也是超级快，只不过导出的格式非标准的Excel格式，默认工作表名与文件名相同

string FileName=“d:abc.xls”;

System.Data.DataTable dt=new System.Data.DataTable();

FileStream objFileStream;

StreamWriter objStreamWriter;

string strLine=“”;

objFileStream = new FileStream(FileName,FileMode.OpenOrCreate,FileAccess.Write);

objStreamWriter = new StreamWriter(objFileStream,System.Text.Encoding.Unicode);

for(int i=0;i

{

strLine=strLine+dt.Columns[i].ColumnName.ToString()+Convert.ToChar(9);

}

objStreamWriter.WriteLine(strLine);

strLine=“”;

for(int i=0;i

{

strLine=strLine+(i+1)+Convert.ToChar(9);

for(int j=1;j

{

strLine=strLine+dt.Rows[i][j].ToString()+Convert.ToChar(9);

}

objStreamWriter.WriteLine(strLine);

strLine=“”;

}

objStreamWriter.Close();

objFileStream.Close();

方法3:用Ado.net 此方法速度较以上两个显得慢了一些，数据量越大越明显

int Id=0;

string Name=“测试”;

string FileName=“d:abc.xls”;

System.Data.DataTable dt=new System.Data.DataTable();

long totalCount=dt.Rows.Count;

long rowRead=0;

float percent=0;

OleDbParameter[] parm=new OleDbParameter[dt.Columns.Count];

string connString = “Provider=Microsoft.Jet.OLEDB.4.0;Data Source=” + FileName +“;Extended Properties=Excel 8.0;”;

OleDbConnection objConn = new OleDbConnection(connString);

OleDbCommand objCmd = new OleDbCommand();

objCmd.Connection = objConn;

objConn.Open();

//建立表结构

objCmd.CommandText = @“CREATE TABLE Sheet1(序号 Integer,名称 varchar)”;

objCmd.ExecuteNonQuery();

//建立插入动作的Command

objCmd.CommandText = “INSERT INTO Sheet1(”+Id+“,”+Name+“)”;

parm[0]=new OleDbParameter(“@Id”, OleDbType.Integer);

objCmd.Parameters.Add(parm[0]);

parm[1]=new OleDbParameter(“@Company”, OleDbType.VarChar);

objCmd.Parameters.Add(parm[1]);

//遍历DataTable将数据插入新建的Excel文件中

for(int i=0;i

{

parm[0].Value=i+1;

for(int j=1;j

{

parm[j].Value =dt.Rows[i][j];

}

objCmd.ExecuteNonQuery();

rowRead++;

percent=((float)(100*rowRead))/totalCount;

// this.FM.CaptionText.Text = “正在导出数据，已导出[” + percent.ToString(“0.00”) + “%]...”;

if(i==dt.Rows.Count-1)

// this.FM.CaptionText.Text = “请稍后......”;

System.Windows.Forms .Application.DoEvents();

}

objConn.Close();

//this.FM.CaptionText.Text = “”;

方法4：此方法调用com组件，速度都慢于以上3个方法

using Excel;

System.Data.DataTable dt=new System.Data.DataTable();

string FileName=“d:abc.xls”;

long totalCount=dt.Rows.Count;

long rowRead=0;

float percent=0;

Excel.Application xlApp=null;

xlApp=new Excel.Application();

Excel.Workbooks workbooks=xlApp.Workbooks;

Excel.Workbook workbook=workbooks.Add(Excel.XlWBATemplate.xlWBATWorksheet);

Excel.Worksheet worksheet=(Excel.Worksheet)workbook.Worksheets[1];//取得sheet1

Excel.Range range;

//写入字段

for(int i=0;i

{

worksheet.Cells[1,i+1]=dt.Columns[i].ColumnName;

range=(Excel.Range)worksheet.Cells[1,i+1];

}

for(int r=0;r

{

worksheet.Cells[r+2,1]=r+1;

for(int i=0;i

{

// worksheet.Cells[r+2,i+1]=dt.Rows[r][i];

if(i+1!=dt.Columns.Count)

worksheet.Cells[r+2,i+2]=dt.Rows[r][i+1];

}

rowRead++;

percent=((float)(100*rowRead))/totalCount;

// this.FM.CaptionText.Text = “正在导出数据，已导出[” + percent.ToString(“0.00”) + “%]...”;

System.Windows.Forms .Application.DoEvents();

}

range=worksheet.get_Range(worksheet.Cells[2,1],worksheet.Cells[dt.Rows.Count+2,dt.Columns.Count]);

workbook.Saved =true;

workbook.SaveCopyAs(FileName);

//this.FM.CaptionText.Text = “”;

方法5：利用剪贴板,有人说此方法很快，但是我用时，这种方法最慢，请高手指点.

System.Data.DataTable dt=new System.Data.DataTable();

string filePath=@“d:abc.xls”;

object oMissing = System.Reflection.Missing.Value;

Excel.ApplicationClass xlApp = new Excel.ApplicationClass();

try

{

xlApp.Visible = false;

xlApp.DisplayAlerts = false;

Excel.Workbooks oBooks = xlApp.Workbooks;

Excel._Workbook xlWorkbook = null;

xlWorkbook = oBooks.Open(filePath,oMissing,oMissing,oMissing,oMissing,oMissing,oMissing,

oMissing,oMissing,oMissing,oMissing,oMissing,oMissing,oMissing,oMissing);

Excel.Worksheet xlWorksheet;

// 添加入一个新的Sheet页，

xlWorksheet = (Excel.Worksheet)xlWorkbook.Worksheets.Add(oMissing,oMissing,1,oMissing);

// 以TableName作为新加的Sheet页名。

xlWorksheet.Name =“企业名录”;

// 取出这个DataTable中的所有值,暂存于stringBuffer中。

string stringBuffer = “”;

for( int j=0; j

{

for( int k=0; k

{

stringBuffer += dt.Rows[j][k].ToString();

if( k < dt.Columns.Count - 1 )

stringBuffer += “t”;

}

stringBuffer += “n”;

}

// 利用系统剪切板

System.Windows.Forms.Clipboard.SetDataObject(“”);

// 将stringBuffer放入剪切板。

System.Windows.Forms.Clipboard.SetDataObject(stringBuffer);

// 选中这个sheet页中的第一个单元格

((Excel.Range)xlWorksheet.Cells[1,1]).Select();

// 粘贴！

xlWorksheet.Paste(oMissing,oMissing);

// 清空系统剪切板。

System.Windows.Forms.Clipboard.SetDataObject(“”);

// 保存并关闭这个工作簿。

xlWorkbook.Close( Excel.XlSaveAction.xlSaveChanges, oMissing, oMissing );

System.Runtime.InteropServices.Marshal.ReleaseComObject(xlWorkbook);

xlWorkbook = null;

这些方法都没有关闭Excel进程，这种资料很多，在此不多写了,希望这些能对一些人带来方便.

篇5：MYSQL使用mysqldump导出某个表的部分数据

例：

D:\wamp\mysql\bin>mysqldump -h mysql服务器IP -u用户名 -p密码数据库名表名

--where=“筛选条件”>导出文件路径;

MySQLdump是MySQL自带的导出数据工具，通常我们用它来导出MySQL中，但是有时候我们需要导出MySQL数据库中某个表的部分数据，这时该怎么办呢？

mysqldump命令中带有一个 --where/-w 参数，它用来设定数据导出的条件，使用方式和SQL查询命令中中的where基本上相同，有了它，我们就可以从数据库中导出你需要的那部分数据了，

命令格式如下：

mysqldump -u用户名 -p密码数据库名表名 --where=“筛选条件” >导出文件路径

例子：

从meteo数据库的sdata表中导出sensorid=11 且 fieldid=0的数据到 /home/xyx/Temp.sql 这个文件中

mysqldump -uroot -p123456 meteo sdata --where=“ sensorid=11 and fieldid=0” >/home/xyx/Temp.sql

另外你还可以直接导出文本文件*.txt

mysqldump -uroot -p123456 meteo sdata --where=“ sensorid=11 and fieldid=0” >/home/xyx/Temp.txt

///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

以下是 mysqldump 的一些使用参数

备份数据库

#mysqldump 数据库名 >数据库备份名

#mysqldump -A -u用户名 -p密码数据库名>数据库备份名

#mysqldump -d -A --add-drop-table -uroot -p >xxx.sql

1.导出结构不导出数据

mysqldump -d 数据库名 -uroot -p >xxx.sql

2.导出数据不导出结构

mysqldump -t 数据库名 -uroot -p >xxx.sql

3.导出数据和表结构

mysqldump 数据库名 -uroot -p >xxx.sql

4.导出特定表的结构

mysqldump -uroot -p -B数据库名 --table 表名 >xxx.sql

#mysqldump [OPTIONS] database [tables]

mysqldump支持下列选项：

--add-locks

在每个表导出之前增加LOCK TABLES并且之后UNLOCK TABLE。(为了使得更快地插入到MySQL)。

--add-drop-table

在每个create语句之前增加一个drop table。

--allow-keywords

允许创建是关键词的列名字。这由表名前缀于每个列名做到。

-c, --complete-insert

使用完整的insert语句(用列名字)。

-C, --compress

如果客户和服务器均支持压缩，压缩两者间所有的信息。

--delayed

用INSERT DELAYED命令插入行。

-e, --extended-insert

使用全新多行INSERT语法。（给出更紧缩并且更快的插入语句）

-#, --debug[=option_string]

跟踪程序的使用(为了调试)。

--help

显示一条帮助消息并且退出，

--fields-terminated-by=...

--fields-enclosed-by=...

--fields-optionally-enclosed-by=...

--fields-escaped-by=...

--fields-terminated-by=...

这些选择与-T选择一起使用，并且有相应的LOAD DATA INFILE子句相同的含义。

LOAD DATA INFILE语法。

-F, --flush-logs

在开始导出前，洗掉在MySQL服务器中的日志文件。

-f, --force,

即使我们在一个表导出期间得到一个SQL错误，继续。

-h, --host=..

从命名的主机上的MySQL服务器导出数据。缺省主机是localhost。

-l, --lock-tables.

为开始导出锁定所有表。

-t, --no-create-info

不写入表创建信息(CREATE TABLE语句）

-d, --no-data

不写入表的任何行信息。如果你只想得到一个表的结构的导出，这是很有用的！

--opt

同--quick --add-drop-table --add-locks --extended-insert --lock-tables。

应该给你为读入一个MySQL服务器的尽可能最快的导出。

-pyour_pass, --password[=your_pass]

与服务器连接时使用的口令。如果你不指定“=your_pass”部分，mysqldump需要来自终端的口令。

-P port_num, --port=port_num

与一台主机连接时使用的TCP/IP端口号。（这用于连接到localhost以外的主机，因为它使用 Unix套接字。）

-q, --quick

不缓冲查询，直接导出至stdout；使用mysql_use_result()做它。

-S /path/to/socket, --socket=/path/to/socket

与localhost连接时（它是缺省主机)使用的套接字文件。

-T, --tab=path-to-some-directory

对于每个给定的表，创建一个table_name.sql文件，它包含SQL CREATE 命令，和一个table_name.txt文件，它包含数据。注意：这只有在mysqldump运行在mysqld守护进程运行的同一台机器上的时候才工作。.txt文件的格式根据--fields-xxx和 --lines--xxx选项来定。

-u user_name, --user=user_name

与服务器连接时，MySQL使用的用户名。缺省值是你的Unix登录名。

-O var=option, --set-variable var=option设置一个变量的值。可能的变量被列在下面。

-v, --verbose

冗长模式。打印出程序所做的更多的信息。 dnzg.cn

-V, --version

打印版本信息并且退出。

-w, --where='where-condition'

只导出被选择了的记录；注意引号是强制的！

“--where=user='jimf'” “-wuserid>1” “-wuserid<1”

导入数据：

由于mysqldump导出的是完整的SQL语句，所以用mysql客户程序很容易就能把数据导入了：