Оказалось, что ответ прост. Для windows, создаем bat файл в котором пишем:
:: Create File List
echo file file1.MP4 > mylist.txt echo file file2.MP4 » mylist.txt
:: Concatenate Files
ffmpeg -f concat -i mylist.txt -c copy output.mp4 Процесс занял меньше минуты для двух файлов размером 2 ГБ каждый.