איך אפשר להסיר שורות כפולות מקבצי טקסט גדולים

[Tyler]

יש לי 3 קבצי טקסט ששוקלים:
1. 15MB
2. 7MB
3. 2MB

מה הדרך הכי יעילה לחבר אותם לקובץ אחד ואז להריץ בדיקת כפילויות ולהסיר במידת הצורך?

תודה

[Erez | TrustMedia.co.il]

PHP קוד:

<?php
    $file1 = file('file1.txt');
    $file2 = file('file2.txt');
    $file3 = file('file3.txt');
    $files = array_merge($file1,$file2,$file3);
    $files = array_unique($files);
    foreach($files as $line){
        echo $line.'<br>';
    }

או שתכניס לאקסל ואז תריץ מחיקת כפולים

[TomLevi]

אקסל