Как обработать большое количество данных за минуту? Допустим, есть 1000 данных в БД. Есть php скрипт, который должен обрабатывать их КАЖДУЮ 1 МИНУТУ и выдать какой-либо результат (не важно какой), но за 1 минуту скрипт обрабатывает только 10 данных.
Все делается в цикле while() { ]Как же их обрабатывать все за 1 минуту?
Создавать 10 скриптов и каждому скрипту выделять по 10 данных и вешать его на cron 1 минуту? Но если все эти скрипты начнут одновременно запускаться,выполняться,потом снова запускаться и т.д, не даст ли это большой нагрузки на процессор?

Предыдущий
вопрос Следующий
вопрос

Один из способов обработки большого количества данных за минуту - использовать многопоточность. Например, вы можете создать несколько потоков (threads) каждый из которых будет обрабатывать по 10 данных из базы одновременно. Таким образом, вы сможете увеличить скорость обработки данных.

Еще один способ - использовать очереди сообщений. Вы можете создать очередь сообщений, в которую будет поступать порция данных, и затем запускать скрипт, который будет обрабатывать данные из очереди. Это также позволит увеличить скорость обработки данных.

Использование нескольких скриптов и запуск их по крону также может быть решением, но, как вы правильно заметили, это может повлечь за собой большую нагрузку на процессор, особенно если все скрипты будут запускаться одновременно.

Выбор метода обработки данных будет зависеть от конкретных условий вашего проекта и того, какие ресурсы у вас есть. Необходимо провести тестирование различных методов и выбрать наиболее оптимальный для вашей задачи.