- Тех. поддержка
-
Ошибки
Сбор по гео работает некорректно
Доброго дня.
Не знаю сколько этот пост продержится пока его админы не переведут в приватные, но я обращаюсь именно к пользователям.
Как бы меня не уверяли агенты техподдержки, что при сборе по гео аккаунты отключаются после того как они отработали свою часть меток, на практике это не так =(
Используется 150 технических аккаунтов, на каждый из них заведён прокси (!!!) /100% работоспособные/
При сборе используется одновременный метод использования аккаунтов с 4990 запросами на каждый.
В сбор загружено 18,5к меток
Спустя какое-то время наблюдается следующая картина:
Хочу напомнить, что загружено 18,500 меток
А обработано 2676 меток. Это получается, что на 126 отключённых аккаунтов было распределено 2676 меток (в среднем по 21-22 метки на аккаунт), а на 24 оставшихся в работе 15876 (в среднем по 661-662метки на аккаунт). Такое распределение меток не сопоставимо со здравым смыслом, поскольку значительно замедляет работу.
Причём на отключённых аккаунтах не возникает никаких блоков от инстаграм, что было проверено многократным сбором.
С момента этого скрина каждые 10 секунд делался скриншот до полной остановки сбора.
Последний скриншот был таким:
Обработано 6996 меток.
Не обработанными остались 11504 метки - это больше половины
Все аккаунты отключены.
После проверки все аккаунты живы и здоровы, прокси не забанены и новый сбор по гео отличненько запустился.
Это ни как не проверить не уставившись в монитор или не записав видео или не делая скрины, потому что статистики об обработанных метках по завершении работы нет.
А если кто-то скажет, что там пустые метки, без медиа и, наверное, поэтому программа их не отработала, то я возражу... Если разбить базу меток по 1000, то все метки обрабатываются. Следовательно это косяк программы, который ТП по непонятным причинам не хочет признавать.
P.S.: Давайте вместе сделаем SocialKit лучшим!
Сервис поддержки клиентов работает на платформе UserEcho
Здравствуйте!
А с чего Вы взяли, что мы что-то не признаем? Возможно, Instagram накладывает временный бан на прокси по маске (с недавних пор робот умеет это делать) или на ТА, потому они отключаются в ходе работы.
Будем разбираться.
Также внесем уточнение. При сборе по ГЕО ТА отключаются не после того, как отработали свою часть меток, а когда в ходе работы с тем или иным отключенным ТА произошла критическая ошибка, не позволяющая больше его использовать. Отключаются ТА только в самом конце. Например, если осталось 100 меток, а у Вас в работе 150 ТА, то 50 отключаться и будут ждать общего завершения, т.к. для них больше нет работы.
Прикрепите, пожалуйста, список своих меток.
В качестве теста взяли список из 12 тыс. меток и 48 ТА. Все ТА на прокси IPv6 (HTTP и SOCKS), но далеко не все ТА на уникальных прокси.
Скриншот начала работы:
Аккаунты в работе используются разные.
Почти все новореги, 99% зарегистрированы средствами SocialKit с помощью алгоритма Mobile Instagram API.
Вот топик, который сразу был запривачен, в котором мной поднималась эта тема http://support.socialkit.ru/topics/5525-sbor-po-geo/ но ответ от вас один... "Аккаунты в процессе сбора отключаются по мере того, как обработали свою часть гео-меток"
Топики, где требуется выяснить, почему у того или иного пользователя что-либо работает не так, как это должно работать переводятся в приват. В этом топике Вы запросили отклик у пользователей, а не у ТП, потому он пока открыт. Еще раз напоминаем, что наш форум - это не сообщество для обмена мнениями и отзывами. Это тикет-система для взаимодействия пользователей с технической поддержкой. Оставлять тот или иной топик открытым или нет мы решаем в каждом случае индивидуально. В данном случае мы не против сбора отклика у остальных пользователей по описанной теме.
В Вашем случае, возможно, дело в прокси. В данный момент на одном из наших тестовых стендов продолжается сбор на прокси и 48 ТА - пока никаких проблем не замечено. ТА могут отключаться в ходе работы по причинам, описанным выше. У Вас это происходит слишком быстро. Проблема, скорее всего, носит внешний характер. Мы не знаем, какие прокси Вы используете и какая история у тех ТА, что используются для сбора, но, возможно, дело именно в этих внешних причинах
По крайней мере, на данный момент очевидно, что ошибке в алгоритмах нет. Иначе бы наш сбор постигли те же проблемы, что и Ваш.
Попробуйте уменьшить число ТА. Возможно, Instagram блокирует подсеть прокси, обнаруживая большой всплеск однотипных запросов.
Об этом в искомом приватном топике (только менее детально) упомянул и Агент поддержки.
Завершение сбора:
Собранные профили:
Как видно из скриншотов, в процессе сбора "отпало" 6 ТА. Сразу после сбора эти ТА были доступны для других видов сбора.
Топики, где требуется выяснить, почему у того или иного пользователя что-либо работает не так, как это должно работать переводятся в приват. В этом топике Вы запросили отклик у пользователей, а не у ТП, потому он пока открыт. Еще раз напоминаем, что наш форум - это не сообщество для обмена мнениями и отзывами. Это тикет-система для взаимодействия пользователей с технической поддержкой. Оставлять тот или иной топик открытым или нет мы решаем в каждом случае индивидуально. В данном случае мы не против сбора отклика у остальных пользователей по описанной теме.
Никто и не против, это вы мне уже объясняли.
В Вашем случае, возможно, дело в прокси. В данный момент на одном из наших тестовых стендов продолжается сбор на прокси и 48 ТА - пока никаких проблем не замечено. ТА могут отключаться в ходе работы по причинам, описанным выше. У Вас это происходит слишком быстро. Проблема, скорее всего, носит внешний характер. Мы не знаем, какие прокси Вы используете и какая история у тех ТА, что используются для сбора, но, возможно, дело именно в этих внешних причинах
В моём случае:
50 акков - зареганные через Socialkit со свежих прокси с подтверждённой почтой, с аватарками, с 12-25 фото, с подтверждёнными запросами смс
50 акков - купленных в магазине, зареганных специально для меня с Евро-прокси, с подтверждённой почтой, с аватарками, с 12-25 фото, с подтверждёнными запросами смс
50 акков - аккаунты, которым больше 2-х лет, которые без проблем работают в Tooligram и Instatool, с подтверждённой почтой, с аватарками, с 12-25 фото, с подтверждёнными запросами смс и привязанные к Facebook
Все прокси, которые я использую на каждый тех. аккаунт из разных /64 подсетей
Если у вас всё работает, значит проблема на моей стороне, ок.
Найду проблему и никому не скажу =)) Всёж работает =)
Основываясь на вышеизложенном, ввели в программу новое понятие для сбора аудитории по ГЕО-меткам под названием "порционная обработка меток". Данная функция будет делать как раз то, что Вы делали руками: разбивали один список меток на части и обрабатывали его. Теперь это будет делать программа самостоятельно, а пользователю лишь останется указать размер порции. Функция может быть включена на усмотрение пользователя при использовании одновременного сбора. Мы не рекомендуем включать порционную обработку меток, если при одновременном сборе аудитории по ГЕО-меткам не наблюдается то, что описано выше, т.к. этот режим несколько замедляет общий прогресс. В процессе перехода между порциями потоки полностью останавливаются, берется установленный тайм-аут (минимум 1 секунда), а затем работа автоматически возобновляется над следующей порцией. Таким образом, ТА будут отдыхать, а процесс сбора будет в достаточной степени рандомизирован, что позволит избавиться от проблемы, описываемой пользователем выше.
Надеемся, что это Вам поможет, т.к. ничего другого на данном этапе предложить не можем в связи с тем, что быстрое отключение ТА не воспроизводится ни на одном из наших тестовых стендов. Нововведение будет доступно в версии SocialKit Pro 1.63.4.
"порционная обработка меток" - это конечно выход, если возникают проблемы как у меня. И я благодарю за обратную связь.
Но намного эффективнее было бы восстановление работоспособности отключенных аккаунтов во время сбора после небольшого тайм-аута, который может менять сам пользователь, если возникнет необходимость. И если у пользователя нет проблем с остановками, то он и не обратит внимания на эту функцию, а если возникнут, то функция сработает по умолчанию и, скорее всего, тоже оградит его от лишних проблем.