Почему поиск уникальных значений в двух таблицах Excel работает медленно и как сделать чтобы было быстрее? Есть два файла CSV в каждом по 100 тыс записей. Задача найти строки которые которые есть в первом файле, но нет во втором. Сама процедура поиска предполагается по ключу записей т.е.
Файл 1:
1
2
4
5
Файл 2:
1
2
3
4
5
Итого вывод должен быть 3 т.к. в первом файле этого ID нет, но он есть во втором.
Сейчас все делается средствами Excel. Люди жалуются на то, что подобная сверка происходит долго. На сколько долго сказать не могу. Думаю десятки минут.
Отсюда вопросы.
Почему в Excel все так медленно.
Будет ли разница в скорости если если решение сделать на C# или к примеру Python.
Будет ли профит если все выгружать в какой нить SQLite и делать его средствами?

Предыдущий
вопрос Следующий
вопрос

Причина медленной работы поиска уникальных значений в двух таблицах Excel может быть связана с тем, что Excel не оптимизирован для обработки больших объемов данных. Когда вы работаете с файлами, содержащими по 100 тыс записей, Excel может начать тормозить из-за ограничений производительности.

Если вы решите выполнить подобную операцию на C# или Python, скорее всего вы сможете заметить значительный прирост производительности. Языки программирования C# и Python более эффективны в обработке больших объемов данных, чем Excel.

Подход с выгрузкой данных в SQLite также может быть эффективным, поскольку SQLite является легким и быстрым СУБД, способным обрабатывать большие объемы данных с высокой производительностью.

Таким образом, если у вас возникают проблемы с производительностью при поиске уникальных значений в Excel, решение на C# или Python, ли либо выгрузка данных в SQLite могут помочь улучшить скорость выполнения операции.