重複する行をCSVファイルからPythonで削除する方法

CSVファイルを扱うためPandasライブラリを使用すると、次の方法で重複したデータを削除できます。

まず、pandasライブラリをインポートします。

import pandas as pd

csvファイルを読み込み、データフレームオブジェクトとして保存するには、read_csv() 関数を使用します。

df = pd.read_csv("data.csv")

重複行を削除するには、ドロップ_重複()関数を使用します。

df.drop_duplicates(inplace=True)

最後に、処理されたデータを新しいcsvファイルとして保存する

df.to_csv("new_data.csv", index=False)

以下は完全なコードです。

import pandas as pd

df = pd.read_csv("data.csv")
df.drop_duplicates(inplace=True)
df.to_csv("new_data.csv", index=False)

そうすると、重複したデータをcsvファイルから削除できます。