Sofern Du einen Schlüssel in den Datensätzen hast, kannst Du das mit ganz normalen PRIMARY KEY / UNIQ Einschränkungen lösen. Dann werden die Datensätze, dessen Key schon da sind halt nicht in die Datenbank geschrieben.
Sofern es keinen Key gibt, würde ich aus den Daten Hashes Bilden (zB sha256 oder sha512) und anhand dieser einen PRIMARY KEY bilden. So mache ich das zB bei einer URL Datenbank, da die KEYS leider nicht wirklich lang sein können.