Продам Парсер постов ВКонтакте (качает посты, формирует CSV, много фильтров)

VK Posts Parser - шаблон для программы ZennoPoster предназначенный для парсинга/граббинга постов со стен сообществ и/или профилей в ВК.

С помощью этого шаблоны можно:
  • Отбирать посты по множеству различных фильтров
  • Собрать подробную информацию о различных параметрах постов (CSV)
  • Выкачивать посты целиком или их отдельные элементы
Кому может пригодиться:
  • SMM-специалистам
  • Контент-менеджерам и тем кто ведет свои сообщества в различных соцсетях
  • Рекламщикам, маркетологам, аналитикам
  • Дорвейщикам, арбитражникам, сеошникам
  • Тем кому просто нужно скачать содержимое постов со стены или их отдельные элементы к себе на ПК
Фильтры по которым можно отбирать посты со стен:

eANuZ-0ij2Q.jpg

FQBs_4KF2tU.jpg



Результат работы шаблона

Результат состоит из двух составляющих:

1) Папки с выкаченными постами или их отдельными элементами. Какие конкретно элементы выкачивать вы задаете самостоятельно во входных настройках

eIxTkz_L9hw.jpg


HLyI025-MzA.jpg




2) CSV (Excel) файл с прошедшими все фильтры постами и их параметрами. Создается всегда.

Пример CSV файла с результатом парсинга. Таблица слишком широкая и не умещается на один экран, поэтому прикрепляю 2 скриншота (второй после скрола вправо).

px1LqOoZbZ0.jpg


после скрола вправо до упора

4mEmRNR2PeI.jpg


Расшифровка столбцов CSV файла:
URL - это URL адрес конкретного поста в ВК.
timestamp - время публикации поста в формате Unix (количество секунд, прошедших с полуночи 1 января 1970 года). Чем свежее пост, тем больше эта цифра. Колонка удобна для сортировки постов по дате публикации.
datetime - время публикации поста в привычном нам формате ДД.ММ.ГГГГ ЧЧ:ММ ... при фильтрации данных в Excel удобно выделять определенные годы / месяцы / дни.
type - может иметь значение post или repost
views - количество просмотров
likes - количество лайков (отметок нравится)
reposts - количество репостов
comments - количество комментариев
ltr - лайкабельность поста в % ( ltr = (likes/views)*100% )
rtr - репостабельность поста в % ( rtr = (reposts/views)*100% )
ctr - комментируемость поста в % ( ctr = (comments/views)*100% )
images - количество картинок
video_total - общее количество видео в посте
video_vk - количество видео VK
video_youtube - количество видео с YoutTube
video_vimeo - количество видео с Vimeo
audio - количество аудиозаписей
doc_total - общее количество документов
doc_gif - количество документов GIF
doc_word - количество документов Word
doc_excel - количество документов Excel
doc_pdf - количество документов PDF
doc_ppt - колчичество документов PPT (Power Point)
text_len - количество симоволов текста
int_links - ( no/yes) - наличие внутренних ссылок
ext_links - ( no/yes) - наличие внешних ссылок
is_ads - помечен ли пост как реклама ( 1 - да | 0 - нет )
is_article - является ли пост ссылкой на статью (1 - да | 0 - нет)
can_comment - можно ли комментировать пост (1 - да | 0 - нет)
can_repost - можно ли репостнуть пост (1 - да | 0 - нет)
signer_id - идентификатор автора, если запись была опубликована от имени сообщества и подписана пользователем;

Про статьи ( articles )

Шаблон работает именно с постами, статьи он не грабит! Во-первых, статья это вообще отдельная сущность, а не пост в привычном понимании этого слова. Когда Вы на какой-либо стене видите пост со ссылкой/кнопкой "Читать", то это именно то чем кажется - пост с прикрепленной ссылкой на статью, а не сама статья. Именно так он и грабится как пост состоящий из ссылки на статью.

Таким образом, запретив в фильтрах внутренние ссылки, вы исключите все посты ссылающиеся на статьи! Так же это можно сделать в Excel, отфильтровав по полю is_article

Еще немного про шаблон
  • Работает по POST/GET запросах без использования браузера, для получения данных использует VK API
  • Умеет работать с прокси (хотя в большинстве случаев можно обойтись и без них)
  • Умеет работать с антикапча-сервисами antigate (anti-captcha) и rucaptcha + есть возможность разгадывать капчу вручную или через CapMonster2. Сразу хочу сказать что встретить капчу при таком виде парсинга - это еще ой как нужно постараться ;-)
  • Рекомендуется запуск в 1 поток т.к каждый поток использует ВСЕ имеющиеся аккаунты ВК, они меняются при каждом новом обращении к API ... это позволяет парсить действительно крупные сообщества.
  • Для работы нужны аккаунты ВК и возможно прокси. Для небольших сообществ хватит и 1 аккаунта без прокси, но если парсить нужно крупные сообщества, то желательно иметь несколько акков ВК! Я, например, использую 4-5 аккаунтов без прокси, хватает для парсинга практически любых сообществ.
  • Написан целиком на C#
Дополнительная информация
  • Лицензионный ключ привязывается к вашему Zenno ID. Если у вас несколько ZennoPoster-ов купленных в одном личном кабинете ZennoLab, то шаблон будет работать на каждом из них (так как у них одинаковый ZennoID), но не одновременно! Что бы перейти с одного ZP на другой шаблон должен не работать на первом 30 минут.
  • Шаблон закрыт от редактирования и имеет права только на выполнение.
  • Шаблон будет работать на версиях ZP от 5.10.2.0
  • Шаблон после покупки нельзя переоформить на другой email/id т.е вы не можете его перепродать или передать кому-то еще
  • У меня нет манибэка! Если после покупки шаблона он вдруг по какой-либо причине стал вам не нужен, тема под которую вы хотели его использовать умерла или не оправдала себя, вы вдруг поняли что в интернете денег нет, то все эти аргументы не принимаются!
DEMO-версия

Если у вас имеется ZennoPoster, то вы можете убедиться в работоспособности шаблона. Демо работает 1 сутки с момента первого запуска и сохраняет не более 10 постов.

Скачать DEMO с Google Drive

Инструкция внутри архива - файл instruction.docx

Демо от не демо отличается лишь вписанным во входные настройки лицензионным ключом т.ч запустив шаблон без лиц. ключа у вас автоматически запуститься DEMO-режим.

Стоимость шаблона

1 месяц - 750 руб (экономия 0 руб)
3 месяца - 1950 (получается 650/месяц, экономия 300 руб)
6 месяцев - 3300 (получается 550/месяц, экономия 1200 руб)
12 месяцев - 5400 (получается 450 руб/месяц, экономия 3600 руб )

Апдейты / обновления

Багфиксы и обновления бесплатные.

Контакты

* Telegram: @volkovguru
* Email: profitbunker(собака)gmail.com

Если есть возможность, то отвечаю сразу, если нет, то как только такая возможность появится. Поэтому не нужно отдельно писать "привет", "как дела?", "есть вопрос" и ждать ответа ... сразу пишите что Вы с форума openssource по поводу VK Posts Parser и свой вопрос.

Если у вас нет ZennoPoster, но хочется использовать шаблон

В этом случае можно сделать так называемый ZennoBox, который позволит вам запускать только купленные вами шаблоны.
За каждую выписку шаблона в ZennoBox необходимо заплатить ZennoLab-у (разработчикам zennoposter) разовый платеж в $10, который естественно перекладываются на конечного покупателя т.е на вас. Эти $10 прибавляются к стоимости аренды шаблона.
 

Последнее редактирование:
Всем привет.

Внимание: На данный момент музыка из постов не выкачивается! (надеюсь временно)
Раньше была возможность получить .mp3 файл, но теперь ВК стал хранить аудио в другом формате - M3U8 - это такой плейлист-контенейнер в котором находятся ссылки на множество кусочков в формате .ts ... и что бы получить привычный нам mp3 нужно эти .ts файлы скачать, склеить и перекодировать в MP3. На ум сразу же пришел FFMPEG, он умеет работать с таким форматом, но к сожалению тесты показали что периодически при работе с такими файлами он подвисает и вешает весь поток т.ч от него пришлось отказаться. Пока за неимением хороших вариантов убрал пункт отвечающий за сохранение аудио. Все остальное качается как и прежде. Так что прошу иметь это ввиду!
 

Приветствую!

Добавлена дополнительная проверка на бан аккаунтов для которых уже получен и сохранен токен.
Перед началом парсинга шаблон получает токены для новых аккаунтов и проверяет на бан аккаунты для которых токен уже ранее получен и сохранен. Как правило запрос информации о текущем юзере с ранее полученным токном содержит в ответе признак того заблочен аккаунт или нет, но бывают случаи когда аккаунт заблочен, а никаких признаков этого в ответе нет. Для этого и добавлена дополнительная проверка!

Шаблон перезалил VK Posts Parser – Google Диск

Так же напоминаю что у шаблона есть демо-версия и любой обладатель ZennoPoster может скачать и протестировать работоспособность шаблона. Демо работает 1 сутки с момента первого запуска и сохраняет не более 10 постов. Демо от не демо отличается лишь вписанным во входные настройки лицензионным ключом т.ч запустив шаблон без лиц. ключа у вас автоматически запуститься DEMO-режим. Инструкция внутри архива - файл instruction.docx

Контакты

* Telegram: Vitaly
* Email: profitbunker(собака)gmail.com
 

Всем привет!

В парсер постов ВК добавлена возможность сохранить JSON данные каждого отдельного поста. Для этого во входных настройках необходимо отметить в "Что качать из постов?" пункт "Данные поста в JSON".

Хочу заметить что это не тот громоздский JSON что выдает сам ВК, где куча ненужных данных и иногда приходится оргранизовывать двойные и тройные циклы что бы достать некоторые данные, а так же делать доп. запросы для получения дополнительных данных. Здесь своя максимально упрощенная структура и оставлено только самое важное.

Вот пример такого файла
JSON:
{
   "type":"post",
   "id":"1001413",
   "owner_id":"-66416437",
   "date":1670385974,
   "marked_as_ads":"0",
   "is_pinned":0,
   "is_article":"0",
   "folder":"wall-66416437_1001413",
   "likes":344,
   "reposts":264,
   "comments":24,
   "views":32888,
   "ltr":1.04597425,
   "rtr":0.8027244,
   "ctr":0.07297494,
   "text":"А на крыше  должна быть ракета",
   "attachments":[
      {
         "type":"video",
         "id":"456304361",
         "owner_id":"-66416437",
         "access_key":"2f98e9b762cb705e38",
         "platform":"",
         "duration":37,
         "width":720,
         "height":720,
         "views":46553,
         "title":"ВИДЕО ДОЛБОЁБА (56)",
         "description":"",
         "url":"https://vkvd233.mycdn.me/?srcIp=37.252.81.225&pr=40&expires=1670890488100&srcAg=UNKNOWN_ANDROID&fromCache=1&ms=45.136.20.146&type=3&subId=3401062287920&sig=LICG33Zuf3w&ct=0&urls=45.136.21.135&clientType=15&appId=512000384397&id=3401061370416",
         "file":"video1.mp4"
      }
   ]
}
 

Всем привет.

Во входные нараметры шаблона добавлена настройка "HTTP(S) Proxy для доступа к серверу лицензий". Если по какой-либо причине на вашем ПК на котором крутиться шаблон нет доступа к серверу лицензий и соответственно шаблон не может проверить лицензию, то вы можете воспользоваться данной настройкой указав там HTTP(S) Proxy через которую сайт доступен. Данная прокси используется исключительно при проверке лицензии и никак не влияет на ваши аккаунты (у которых могут быть свои прокси). SOCKS прокси в данной настройке не поддерживаются, только HTTP(S).

Формат записи прокси: login:password@host:port
 

Всем привет.

В JSON данные постов в дополнение к уже имеющемуся параметру owner_id (вледелец стены) добавлены параметры from_id и signer_id.

Первый параметр (from_id) указывает на ID того кто разместил пост на стене. Может совпадать или не совпадать с owner_id, быть положительным (для юзеров) или отрицательным (для сообществ) числом.

Второй параметр (signer_id) становится не пустым если пост/объявление был опубликован из предложки паблика и админ указал что нужно подписать пост (указать ссылку на человека его предложившего). Параметр signer_id как раз и содержит ID человека предложившего пост/объявление.
 

Всем привет!

Парсер постов ВКонтакте теперь поддерживает еще больше параметров (которые можно дописать в ссылках) для переопределения общих параметров заданных во входных настройках шаблона.

Формат добавления параметров к ссылкам:
Код:
https://vk.com/supergroup?param1=value1&param2=value2&param3=value3&...

где paramX - переопределеяемый параметр, а valueX - значение переопределяемого параметра

Переопределенные параметры действуют только при парсинге ссылки для которой они заданы! Если какой-то параметр не переопределен, то он берется из входных настроек шаблона.

Доступные на данный момент параметры и их значения:

folder_prefix - префикс папок в которые сохраняются посты ( например: ссылка?folder_prefix=post )

period_days - сканировать записи ха последние N дней ( например: ссылка?period_days=100 )

max_posts - ограничить результат N записями ( например: ссылка?max_posts=200 )

filter - с какими записями на стене работать. Возможные значения - owner (записи владельца стены), others (записи не от владельца стены), all (все записи)

download - что выкачивать из постов. Возможные значения: text, image, video, doc_gif, doc_word, doc_excel, doc_pdf, doc_ppt, doc_psd, poll, link, img_links, orig_post_url, json . Если нужно указать сразу несколько значений, то они указываются через запятую (без доп пробелов)

images - фильтр по изображениям. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?images=1-3 )

videos - фильтр по видео. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?videos=0-10 )

vkvideos - фильтр по ВК-видео. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?vkvideos=0-10 )

youtube - фильтр по YouTube видео. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?youtube=0-10 )

vimeo - фильтр по Vimeo видео. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?vimeo=0-10 )

audio - фильтр по аудио. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?audio=0-10 ). Напоминаю что аудио на данный момент в шаблоне не качается (!!!), но отобрать посты его созаржищие можно!

docs - фильтр по доментам/файлам. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?docs=0-10 )

docs_gif - фильтр по доментам/файлам типа анимированный GIF. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?docs_gif=0-10 )

docs_word - фильтр по доментам/файлам типа Word. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?docs_word=0-10 )

docs_excel - фильтр по доментам/файлам типа Excel. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?docs_excel=0-10 )

docs_pdf - фильтр по доментам/файлам типа PDF. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?docs_pdf=0-10 )

docs_ppt - фильтр по доментам/файлам типа PPT. Значение задается как от-до (N-M), где N и M целые числа от 0 до 10, N<=M ( например: ссылка?docs_ppt=0-10 )
 

Всем привет.

В функцию получения токенов для аккаунтов ВК добавлена обработка редко выдаваемой на авторизации ошибки - flood control.
Мне ни разу никто не писал по поводу такой ошибки в этом шаблоне, но я точно знаю что такая в ВК с недавних пор бывает и на авторизации ( недавно добавлял ее обработку в VK-Botovod ).
 

Назад
Сверху