Парсинг, скрапинг и сбор мета-данных

Внимание! Представленные методы предназначены для анализа собственных данных, публичных страниц организаций (с их согласия) или общедоступных статистических данных. Автоматизированный сбор персональных данных (например, всех номеров телефонов пользователей ВК) нарушает 152-ФЗ «О персональных данных» и условия использования соцсетей. Понятие парсинга и скрапинга рассмотрены в соответствующих постах, а также здесь и здесь. Процесс получения токена для парсинга … Читать далее

Разбор кода парсера постов и комментариев социальной сети «ВКонтакте»

Вся информация представлена исключительно в демонстрационных целях Общие сведения: Это программа для сбора информации из социальной сети ВКонтакте (VK). Она получает данные о группах, их публикациях, комментариях и сохраняет всё в базу данных на компьютере. Структура программы: vk_parse.py (главный файл) ├── config.py (файл с настройками — токен доступа) ├── vk_data.db (база данных, создается автоматически) └── … Читать далее

Парсинг и анализ Telegram-групп в целях выявления и сбора оперативно значимой информации

Вся информация представлена исключительно в демонстрационных целях В соответствии с пунктом 1 части 1 статьи 10.6 Федерального закона от 27.07.2006 № 149-ФЗ «Об информации, информационных технологиях и о защите информации» (далее – ФЗ «Об информации») социальной сетью является сайт и (или) страница сайта в сети «Интернет», и (или) информационная система, и (или) программа для электронных … Читать далее

Парсинг постов с помощью API ВКонтакте

Основные понятия Паблик (от англ. public) — сообщество, группа, публичная страница в социальных сетях, созданная для отображения и поддержания определённой темы. Основная цель создания паблика — формирование группы подписчиков, которые могут получать информацию, общаться с единомышленниками, участвовать в различных мероприятиях. Пост в паблике — это информационное сообщение, размещённое в ленте группы или сообщества. С помощью постов пользователи социальных сетей … Читать далее

Парсинг и скрапинг информации в сети

«…если программирование — волшебство, то скрапинг и парсинг — настоящее колдовство: применение магии для создания невероятно впечатляющих и полезных, но при этом удивительно простых чудес» Райан Митчелл Парсинг с помощью Python. Веб-скрапинг в действии. 3-е межд. изд.. — Астана: «Спринт Бук», 2025. Понятие и правовая основа парсинга и скрапинга Парсинг (англ. parsing — разбор, синтаксический … Читать далее

API ВКонтакте — регистрация приложения, получение токена

API (Application Programming Interface) — это посредник между разработчиком приложений и какой-либо средой, с которой это приложение должно взаимодействовать. API упрощает создание кода, поскольку предоставляет набор готовых классов, функций или структур для работы с имеющимися данными. API ВКонтакте — это интерфейс, который позволяет получать информацию из базы данных vk.com с помощью HTTP-запросов к специальному серверу. Синтаксис запросов и тип … Читать далее