.4UVmK5aw_1uGpNi.svg){kind=small}
.AzQB9McO_PVSYK.svg){kind=small}
.DjhlE8MO_Z1DYVxU.svg){kind=small}
.DM2pllEO_1cxFXE.svg){kind=small}
.CvN5042A_Z10D5qc.svg){kind=small}
.Dcqs_gC__NRL3p.svg){kind=small}
Web Unlocker: API для збору публічних вебданих у великих обсягах
Надішліть URL сторінки в одному API-запиті й отримайте її відрендерений HTML. Почніть із 5 безкоштовних успішних скрапів; невдалі запити не оплачуються.
- Сторінки завантажуються у справжньому браузері, разом із JavaScript
- CAPTCHA розв’язуються автоматично під час завантаження сторінки
- 207 країн виходу та таргетинг за містом для кожного запиту
Працює з будь-яким публічним URL
- Amazon
Спробуйте й переконайтеся самі
Усі причини обрати Floppydata Web Unlocker
Відрендерені сторінки, керування локацією та проста тарифікація — в одному API-запиті.
- Рендеринг у справжньому браузері Сторінки рендеряться до того, як повертається HTML, тому контент, який підвантажується скриптами, теж включено.
- Автоматичне розв’язання CAPTCHA CAPTCHA, виявлені під час завантаження сторінки, розв’язуються автоматично.
- Автоматичні повторні спроби, оплата один раз Установіть для параметра difficulty значення auto — і невдалу спробу буде повторено через потужніші пули: до 3 спроб з оплатою один раз.
- Геотаргетинг Обирайте з 207 країн виходу та вказуйте місто для кожного запиту.
- Платіть лише за успішні скрапи Помилки валідації, автентифікації та помилки на боці цільового сервера не списують кошти з вашого балансу.
- Проста інтеграція з API Один HTTP-запит із вашим API-ключем, будь-якою мовою: надішліть URL — отримайте відрендерений HTML.
Як працює Floppydata Web Unlocker
- Скрапер
- Floppydata Web Unlocker
- Цільовий сайт
- Рендеринг у справжньому браузері
- Автоматичне розв’язання CAPTCHA
- Автоматичні повторні спроби, оплата один раз
- Геотаргетинг
- Платіть лише за успішні скрапи
- Проста інтеграція з API
Тарифні плани та ціни
Невдалі запити не оплачуються — жодних сюрпризів чи прихованих комісій.
Легко почати, ще легше масштабувати
- 1
Отримайте API-ключ. Створіть його на сторінці API-ключів у вашому акаунті Floppydata та передавайте в заголовку X-Api-Key.
- 2
Надішліть URL. Відправте його методом POST на /v2/web-data/fetch з будь-якого HTTP-клієнта; додайте countryCode, city або difficulty, якщо для сторінки потрібні ці параметри.
- 3
Отримайте HTML. Відповідь містить відрендерений HTML, початковий URL і час отримання; розбирайте його власними інструментами.
const response = await fetch('https://api.floppydata.net/v2/web-data/fetch', {
method: 'POST',
headers: {
'X-Api-Key': 'YOUR_API_KEY',
'Content-Type': 'application/json'
},
body: JSON.stringify({
url: 'https://example.com',
countryCode: 'US',
difficulty: 'auto'
})
});
const { html } = await response.json();import requests
response = requests.post(
'https://api.floppydata.net/v2/web-data/fetch',
headers={'X-Api-Key': 'YOUR_API_KEY'},
json={
'url': 'https://example.com',
'countryCode': 'US',
'difficulty': 'auto',
},
)
html = response.json()['html']curl --request POST https://api.floppydata.net/v2/web-data/fetch \
--header "X-Api-Key: YOUR_API_KEY" \
--header "Content-Type: application/json" \
--data '{"url": "https://example.com", "countryCode": "US", "difficulty": "auto"}'Web Unlocker vs. проксі з самостійним керуванням
| Floppydata | Проксі з самостійним керуванням | |
|---|---|---|
| Сторінки рендеряться у справжньому браузері, разом із JavaScript | ||
| CAPTCHA розв’язуються під час завантаження сторінки | ||
| Автоматичні повторні спроби через потужніші пули, оплата один раз | ||
| Невдалі запити не оплачуються | ||
| Не потрібно запускати браузер, Puppeteer чи Playwright | ||
| Ціна | Від $0.89 за 1 000 успішних скрапів | Оплата за ГБ трафіку |
Поширені запитання
Що таке Web Unlocker?
Web Unlocker — це API від Floppydata для отримання публічних вебсторінок. Ви надсилаєте URL в одному POST-запиті зі своїм API-ключем; сторінка завантажується у справжньому браузері, CAPTCHA, які з’являються під час завантаження, розв’язуються автоматично, а відповідь містить відрендерений HTML, початковий URL і час отримання. API повертає лише HTML, тож розбирати його вам доведеться власними інструментами.
Web Unlocker — це те саме, що й API для вебскрапінгу?
Так. Web Unlocker — це назва ендпоінта v1, POST /v1/webUnlocker. У Client API v2 те саме завдання виконує ендпоінт Web Data fetch, POST /v2/web-data/fetch, який на цьому сайті називається API для вебскрапінгу. v1 залишається для наявних інтеграцій; нові інтеграції варто робити на v2.
Скільки це коштує?
Перші 5 успішних скрапів безкоштовні. Далі 10 000 успішних скрапів коштують $9, а 100 000 — $89; для більших обсягів або індивідуальних умов зв’яжіться з командою. Оплачуються лише успішні скрапи: помилки валідації, автентифікації та помилки на боці цільового сервера не списують кошти з вашого балансу.
Що, якщо сторінка не завантажилась з першої спроби?
Установіть для параметра difficulty значення auto. Тоді невдалу спробу буде повторено через потужніші пули — спершу low, потім medium, потім high — до 3 спроб, а оплата стягується один раз. Без цього налаштування виконується лише одна спроба на запит. Якщо всі спроби невдалі, API повертає помилку з повідомленням «Failed to scrape the URL», і кошти не списуються.
Чи потрібні мені браузер, Puppeteer або Playwright?
Ні. Підійде будь-яка мова, що вміє надсилати HTTP-запит; у прикладах вище використано JavaScript, Python і cURL. Якщо ви хочете самі керувати браузером через Playwright чи Puppeteer та працювати з багатокроковими сесіями, скористайтеся натомість Хмарним браузером.
Для чого його використовують?
Для будь-яких завдань, де потрібен HTML публічних сторінок: моніторинг цін і асортименту, дослідження конкурентів, результати пошуку, оголошення та збір контенту. Оскільки ви самі обираєте країну виходу та місто, можна також перевірити, як сторінка виглядає з певної локації.