ZebroidФорумПубличный разделОптимизацияПерелинковка длится 4 дня

Перелинковка длится 4 дня

23 июня 2020, 16:15
Зарегистрирован: 19 апреля 2020, 22:43
Понимаю, что вопросы по оптимизации перелинковки поднимались уже не один раз. И скорее всего уже набили оскомину. В эти дни для меня эта проблема стала существенной. Приведу свои данные.
Контент 1,5 гига. Скрины прилагаю.

Спойлер


По скринам видно, что запущен 32битный процесс. Не думаю, что 64 битная версия сможет решить проблему скорости, т.к. RAM всего на 1гб загружена.
Как видно на скринах, процесс не стоит и не завис. Жесткий диск не задействован, ОЗУ тоже. Нагрузка на процессор. Сам процесс поиска ссылок для перелинковки из меток. Он прошел относительно быстро. Но удручает, что на 16ти ядерном процессоре 17% простановки ссылок перелинковки длится 4 дня. Зеброид занял один сайт, работа застопорилась. Возможно вам найдется найти то самое узкое место, которое можно будет оптимизировать. Есть ли надежда надеяться на оптимизацию этого процесса? Спасибо.

23 июня 2020, 16:24
Зарегистрирован: 21 сентября 2011, 13:43
Понимаю, что вопросы по оптимизации перелинковки поднимались уже не один раз. И скорее всего уже набили оскомину.
Вы правы и вряд ли я что-то новое в этом коде увижу.

Как видно на скринах, процесс не стоит и не завис. Жесткий диск не задействован, ОЗУ тоже. Нагрузка на процессор.
Такого не может быть, так как тексты хранятся либо в оперативке, либо на диске. Так что скорее всего завис, ну или зациклился в каком-то месте. Такое может быть, если есть слишком большие тексты. Поиск ключевых слов в текстах осуществлен с помощью регулярных выражений, которые, как показала практика, очень медленно работают на очень больших текстах.

Есть ли надежда надеяться на оптимизацию этого процесса?
Нет, извините. Всё что смог я уже сделал.