خزنده وب Web Crawler چیست؟
تعریف خزنده وب خزنده وب یک ربات موتور جستجوی دیجیتال است که از کپی و ابرداده(Metadata) برای کشف و فهرستبندی صفحات سایت استفاده میکند. این مفهوم همچنین به عنوان ربات عنکبوتی(اسپایدر) نیز نامیده میشود، وب کراولرها در وب جهانی (از این رو “عنکبوت” و “خزنده”) میخزند تا بفهمد یک صفحه مشخص در مورد چیست. سپس […]