איך אפשר להסיר שורות כפולות מקבצי טקסט גדולים

[Erez | TrustMedia.co.il]

PHP קוד:

<?php
    $file1 = file('file1.txt');
    $file2 = file('file2.txt');
    $file3 = file('file3.txt');
    $files = array_merge($file1,$file2,$file3);
    $files = array_unique($files);
    foreach($files as $line){
        echo $line.'<br>';
    }

או שתכניס לאקסל ואז תריץ מחיקת כפולים