Web Scraping

Web Scraping — це автоматичне отримання даних із веб-сторінок відповідно до заданих параметрів.

Спеціальна програма сканує сайт та копіює його дані: тексти, зображення, аудіофайли тощо. Потім систематизує їх і зберігає, наприклад, таблицю формату CSV. Таким чином можна вивантажити цілий каталог інтернет-магазину, бібліотеку або будь-яку іншу базу даних. Звичайно, якщо вона знаходиться у відкритому веб-доступі.

Web Scraping який завжди використовують заздалегідь вибраних ресурсів. Так, бувають ситуації, коли потрібно зібрати конкретні типи даних, але на яких сайтах вони перебувають – невідомо. У таких випадках використовують пошуковий бот, або краулер. Він шукає потрібні дані в інтернеті, а після цього повідомляє про них скрейперу - програме, яка безпосередньо займається отриманням даних із веб-сторінок. Краулери та скрейпери розробляють індивідуально під потреби кожного конкретного проекту.

Деякі ресурси самі надають швидкий доступ до даних через API. Наприклад, інтернет-магазин у такий спосіб може ділитися знімками та характеристиками товарів зі свого каталогу з партнерами. Якщо ж подібної функціональності не передбачено, на допомогу приходить Web Scraping.

Повернутися на головну Енциклопедія eCommerce

Налаштувати інтеграцію без програмістів ApiX-Drive

Статті про маркетинг, автоматизацію та інтеграцію в нашому Блозі