100万件のデータをPSQLにインポートする方法

2年 ago
蓮, 翼
1 minute

PL/SQLでは、100万のデータをインポートするために以下の方法を利用できます。

  1. INSERT文の使用：INSERT INTO文を使って、テーブルに1行ずつデータを挿入していきます。この方法は簡単に行える方法ですが、処理速度が遅く、インポート処理に時間がかかることがあります。
DECLARE
i NUMBER := 1;
BEGIN
WHILE i <= 1000000 LOOP
INSERT INTO your_table (column1, column2, ...) VALUES (value1, value2, ...);
i := i + 1;
END LOOP;
END;
/
  1. FORALL文を使用する：一度に複数の行のデータを挿入し、一行ずつ挿入するよりはるかに高速に挿入できます。
DECLARE
TYPE your_table_type IS TABLE OF your_table%ROWTYPE;
your_table_data your_table_type;
BEGIN
-- 构建数据
FOR i IN 1..1000000 LOOP
your_table_data(i).column1 := value1;
your_table_data(i).column2 := value2;
-- ...
END LOOP;
-- 插入数据
FORALL i IN 1..your_table_data.COUNT
INSERT INTO your_table VALUES your_table_data(i);
END;
/
  1. 外部テーブルを使う：ファイルにデータが格納されている場合、外部テーブルを使ってデータをインポートできます。外部テーブルは、ファイル内のデータをデータベーステーブルへ直接マッピングする仮想的なテーブルです。

外部テーブルの定義を作成し、データファイルのパスと形式を先に指定します。

CREATE TABLE your_external_table (
column1 datatype,
column2 datatype,
...
)
ORGANIZATION EXTERNAL (
TYPE ORACLE_LOADER
DEFAULT DIRECTORY your_directory
ACCESS PARAMETERS (
RECORDS DELIMITED BY NEWLINE
BADFILE your_directory:'your_table.bad'
LOGFILE your_directory:'your_table.log'
FIELDS TERMINATED BY ','
MISSING FIELD VALUES ARE NULL
REJECT ROWS WITH ALL NULL FIELDS
(
column1,
column2,
...
)
)
LOCATION ('your_file.csv')
);

データを外表から宛先テーブルへ挿入します。

INSERT INTO your_table (column1, column2, ...)
SELECT column1, column2, ...
FROM your_external_table;

パフォーマンス要件、データの生成元とフォーマットによって大規模データ取り込み方法が異なります。

bannerAds