موتور جستجو Search Engine چیست؟

زمان تخمینی مطالعه: 12 دقیقه

تعریف موتور جستجو

موتور جستجو یک برنامه نرم افزاری یا سیستمی است که برای کمک به کاربران برای یافتن اطلاعات ذخیره شده در اینترنت یا در یک پایگاه داده خاص طراحی شده است. موتورهای جستجو با فهرست‌بندی(indexing) و فهرست‌نویسی محتوا از منابع مختلف کار می‌کنند و سپس فهرستی از نتایج مرتبط را بر اساس جست‌وجوهایشان در اختیار کاربران قرار می‌دهند. موتورهای جستجو ابزار مفیدی برای کاربرانی هستند که به دنبال یافتن سریع و کارآمد اطلاعات خاص هستند. آنها از نظر دامنه، عملکرد و انواع محتوایی که فهرست می‌کنند متفاوت هستند. این تطبیق پذیری نیازهای کاربر خاص را در زمینه‌های مختلف برآورده می‌کند. موتورهای جستجو می‌توانند موتورهای جستجوی اینترنتی عظیمی باشند که برای فهرست‌بندی همه چیز در وب طراحی شده‌اند، یا موتورهای جستجوی سازمانی که برای استفاده در سازمان‌ها طراحی شده‌اند تا کشف اطلاعات داخلی را آسان‌تر کنند. آنها حتی شامل موتورهای جستجوی دسکتاپ می‌شوند که فایل‌ها را در شبکه محلی شما فهرست می‌کنند.

تاریخچه مختصری از موتور جستجو

مفهوم موتور جستجو مربوط به چند دهه قبل از ایجاد اینترنت است. در مقاله معروف وانوار بوش(Vannevar Bush’s) در سال 1945 درAtlantic 1، مدیر دفتر تحقیقات و توسعه علمی پیشنهاد کرد که ایالات متحده باید پروژه “memex” را انجام دهد. سیستم بایگانی شخصی خودکار که باید مکانیزه شود تا بتوان با سرعت و انعطاف‌پذیری فوق‌العاده‌ای از آن استفاده کرد.

در دهه 1950، اولین سیستم‌های خودکار بازیابی اطلاعات معرفی شدند. در اواخر دهه 1950، محققانی مانند جرارد سالتون شروع به ایجاد زمینه برای سیستم‌های بازیابی خودکار اطلاعات برای متن کردند. سالتون سیستم بازیابی اطلاعات SMART (سیستمی برای تحلیل مکانیکی و بازیابی متن) را در اوایل دهه 1960 توسعه داد. این سیستم بنیادی، از روش‌های ریاضی و آماری برای تجزیه و تحلیل و بازیابی اطلاعات متنی مرتبط استفاده می‌کرد. همچنین مفهوم رتبه بندی مرتبط را معرفی کرد.

در طول دهه‌های 1960 و 1970، سیستم‌های مختلف بازیابی اطلاعات به تکامل خود ادامه دادند و تکنیک‌های جدیدی مانند جستجوی بولی و مدل فضای برداری (یک مدل ریاضی که اشیاء مانند متن را به‌عنوان بردار نشان می‌دهد) را در خود جای دادند. دهه 1980 نشانه ادغام تکنیک‌های پردازش زبان طبیعی در سیستم‌های بازیابی اطلاعات بود که امکان تجزیه و تحلیل پیچیده‌تری از پرسش‌های کاربر و محتوای اسناد را فراهم کرد. یک نقطه عطف بزرگ در سال 1996 با شروع WebCrawler، اولین موتور جستجوی وب خودکار، رخ داد. ورود گوگل در سال 1998 جستجوی اینترنتی را با الگوریتم PageRank خود متحول کرد و ارتباط جستجو را به طور قابل توجهی افزایش داد.

اواخر دهه 1990 و اوایل دهه 2000 شاهد تنوع موتورهای جستجو بود. موتورهای جستجوی سازمانی به عنوان پاسخی به دیجیتالی شدن روزافزون داده‌های تجاری وارد صحنه شدند. در دهه 2010 شاهد ظهور گزینه‌های سازمانی منبع باز بود که به کسب‌وکارها انعطاف‌پذیری و مقیاس‌پذیری را برای ایجاد عملکرد جستجوی خود ارائه می‌داد. سایر موتورهای جستجوی جدید عبارتند از موتورهای جستجوی عمودی (که بر یک موضوع خاص تمرکز می‌کنند) و جستجوی رسانه‌های اجتماعی. امروزه با کمک هوش مصنوعی، موتورهای جستجو به پیشرفت و تنوع خود ادامه خواهند داد.

موتور جستجو چگونه کار می‌کند؟

موتورهای جستجو با پیروی از یک فرآیند چند مرحله‌ای طراحی شده برای یافتن مرتبط‌ترین نتایج به درخواست کاربر کار می‌کنند. از موتورهای جستجوی سازمانی گرفته تا جستجوی اینترنتی، بیشتر آنها روند مشابهی را دنبال می‌کنند. برای موتورهای جستجوی مبتنی بر اینترنت، موتور جستجو از ربات‌های خودکار، معروف به خزنده‌های وب یا عنکبوت، برای جستجوی اطلاعات استفاده می‌کند. این ربات‌ها با بازدید از مجموعه‌ای از صفحات وب شناخته شده شروع می‌کنند. از آن‌ها، پیوندهایی را به صفحات دیگر استخراج و دنبال می‌کنند و نقشه‌ای از صفحات وب به هم پیوسته را ایجاد می‌کنند. در موتورهای جستجوی سازمانی، روش‌های مختلفی برای کاوش پایگاه‌های داده داخلی، اسناد و سایر مخازن درون یک سازمان، اغلب APIها و رابط‌های هدفمند استفاده می‌شود.

پس از خزیدن(crawling)، نمایه‌سازی(Indexing) شروع می‌شود. خزنده‌ها محتوای هر صفحه وب، سند داخلی یا سایر داده‌ها را تجزیه و تحلیل می‌کنند تا اطلاعات مربوطه، کلمات کلیدی و ابرداده را استخراج کنند. سپس اطلاعات جمع آوری شده در یک نمایه سازماندهی می‌شود. ایندکس یک پایگاه داده ساختاریافته است که امکان بازیابی سریع و کارآمد اطلاعات را فراهم می‌کند. این خروجی معمولاً شامل جزئیاتی در مورد محتوا و مکان صفحه وب یا سند است. مراحل بعدی ارسال پرس و جو و تجزیه و تحلیل است. هنگامی که کاربر یک عبارت جستجو را وارد می‌کند، موتور جستجو برای درک مقصود کاربر، پرس و جو را پردازش می‌کند. این پرس و جو را با شناسایی کلمات کلیدی، عبارات و زمینه کاربر تجزیه می‌کند. امروزه، بسیاری از موتورهای جستجو از تکنیک‌های پردازش زبان طبیعی (NLP) برای درک بهتر معنی پشت کلمات استفاده می‌کنند. سپس موتور جستجو پرس و جوی کاربر را با محتوای نمایه شده مطابقت می‌دهد. اسناد یا صفحات وب حاوی کلمات کلیدی یا عبارات مرتبط را شناسایی می‌کند. نتایج مربوطه از نمایه بازیابی می‌شود. موتور جستجو لیستی از موارد مشابه را بر اساس الگوریتم‌های خود ایجاد می‌کند.

رتبه بندی الگوریتمی نتایج را بر اساس عوامل مختلفی مانند ارتباط یا اعتبار منبع سازماندهی می‌کند. برخی بر اساس ارتباط محتوا اندازه‌گیری می‌کنند، برخی معیارهایی مانند نرخ پرش و تعامل تاریخی را در نظر می‌گیرند، در حالی که برخی دیگر نرخ کلیک را اندازه‌گیری می‌کنند و حتی پیشنهادات خودکار را بر اساس داده‌های تعامل کاربر ارائه می‌دهند. اغلب، موتورهای جستجو از الگوریتم‌های اختصاصی و الگوریتم‌های رتبه‌بندی پیچیده برای تشخیص ترتیب فهرست نتایج استفاده می‌کنند. در جستجوی سازمانی، فهرست نتایج سلسله مراتبی را می‌توان تنظیم و حتی برای اولویت‌بندی نتایج خاص تنظیم کرد.

در نهایت، موتور جستجو نتایج رتبه‌بندی شده را در صفحه نتایج موتور جستجو (SERP) به کاربر ارائه می‌دهد. هر نتیجه معمولاً شامل عنوان، توضیحات، و آدرس اینترنتی یا مکان اطلاعاتی دیگر است. کاربران می‌توانند روی نتایج جستجو کلیک کنند تا به محتوای کامل یک صفحه وب یا سند دسترسی پیدا کنند.

موتور جستجو به طور مداوم در حال خزیدن، نمایه‌سازی و اصلاح الگوریتم‌های خود است تا مرتبط‌ترین و به‌روزترین اطلاعات را در اختیار کاربران قرار دهند. آنها همچنین به طور مداوم بر رفتار کاربر نظارت می‌کنند، از جمله نرخ کلیک و زمان ماندن در صفحات. این داده‌ها به اصلاح الگوریتم‌های رتبه‌بندی و بهبود ارتباط نتایج در طول زمان کمک می‌کند.

چرا موتور جستجو مهم است؟

موتورهای جستجو از این جهت مهم هستند که به عنوان دروازه‌ای به حجم عظیمی از اطلاعات موجود در اینترنت و پلتفرم‌های دیجیتال مختلف عمل می‌کنند. در دنیای پر از داده‌ها، موتورهای جستجو به‌عنوان ابزار ناوبری عمل می‌کنند و به کاربران کمک می‌کنند تا به سرعت اطلاعات مورد نظر خود را پیدا کنند. موتورهای جستجو چه برای تحقیقات آکادمیک، چه درخواست‌های تجاری سازمانی یا صرفاً خرید آنلاین استفاده می‌شوند، فرآیند جستجو را با فهرست‌بندی و سازمان‌دهی اطلاعات آنلاین و داده‌های داخلی ساده‌سازی می‌کنند تا به راحتی در دسترس باشند.

موتورهای جستجو در صنایع مختلف امکانات مختلفی را ارائه می‌دهند. به عنوان مثال، در دنیای تجارت الکترونیک، آنها می‌توانند به عنوان پلی بین تولیدکنندگان محتوا و مصرف کنندگان عمل کنند و یک اکوسیستم دیجیتال را تقویت کنند. برای محققان و دانشجویان در هر سطح از دانشگاه، موتورهای جستجو ابزاری حیاتی برای آموزش و کشف هستند. موتورهای جستجو می‌توانند با ارائه دسترسی به اطلاعات حقوقی و پایگاه‌های داده، از کشف حقوقی پشتیبانی کنند. به طور مشابه، آنها می‌توانند با نمایه‌سازی فایل‌ها و جمع آوری اطلاعات مجلات پزشکی از متخصصان مراقبت‌های بهداشتی حمایت و پشتیبانی کنند. در بیشتر صنایع، موتورهای جستجو از فرآیند تحقیق و اکتشاف پشتیبانی می‌کنند و زندگی روزمره را ساده می‌کنند.

انواع موتور جستجو

موتورهای جستجو انواع مختلفی دارند که هر کدام برای پاسخگویی به نیازها و زمینه‌های خاص طراحی شده‌اند. در اینجا انواع مختلفی از موتورهای جستجو وجود دارد:

• موتورهای جستجوی اینترنتی: با نمایه‌سازی و بازیابی اطلاعات از اینترنت، موتورهای جستجوی اینترنتی می‌توانند سوالات کاربران را دریافت کرده و صفحات وب، تصاویر، ویدئوها و موارد دیگر را تولید کنند. توجه داشته باشید که یک موتور جستجوی اینترنتی با مرورگر وب که یک برنامه نرم افزاری است که صفحات وب را نمایش می‌دهد یکسان نیست. یک مرورگر وب برای دسترسی به موتور جستجو استفاده می‌شود.
• موتورهای جستجوی سازمانی: طراحی شده برای استفاده داخلی سازمانی، موتورهای جستجوی سازمانی اطلاعات را در پایگاه داده، اسناد و اینترانت شرکت فهرست کرده و بازیابی می‌کنند.
• موتورهای جستجوی رومیزی: موتورهای جستجوی دسکتاپ با فهرست کردن فایل‌ها، برنامه‌ها و اسناد در رایانه شخصی یا شبکه محلی کاربر، قابلیت‌های جستجوی محلی سریع را در اختیار کاربر قرار می‌دهند.
• موتورهای جستجوی دانشگاهی: با تمرکز بر محتوای علمی، از جمله مقالات تحقیقاتی، مقالات و انتشارات دانشگاهی، موتورهای جستجوی دانشگاهی نیازهای محققان و دانشجویان را برآورده می‌کنند.
• موتورهای جستجوی رسانه‌های اجتماعی: موتورهای جستجوی رسانه‌های اجتماعی می‌توانند محتوا را در پلتفرم‌های رسانه‌های اجتماعی فهرست‌بندی کنند، که به کاربران امکان می‌دهد موضوعات مرتبط با پست‌ها و بحث‌ها را جستجو کنند و همچنین پروفایل‌های دیگر کاربران را بیابند.
• موتورهای جستجوی متا: این نتایج جمع آوری شده از چندین موتور جستجو برای ارائه دیدگاه گسترده‌تر به کاربران و اغلب برای مقایسه نتایج استفاده می‌شود.
• موتورهای جستجوی عمودی و موتورهای جستجوی تخصصی: این اصطلاحات گاهی اوقات به جای یکدیگر استفاده می‌شوند. با این حال، تفاوت‌های مهمی بین آنها وجود دارد. تفاوت اصلی در محدوده پوشش نهفته است. موتورهای جستجوی تخصصی معمولاً تمرکز محدودتری دارند و بر روی انواع محتوای منحصر به فرد تمرکز می‌کنند، در حالی که موتورهای جستجوی عمودی طیف گسترده‌تری را در یک صنعت یا موضوع خاص پوشش می‌دهند.

بهینه‌سازی موتور جستجو (SEO)

بهینه‌سازی موتورهای جستجو (SEO) در درجه اول با موتورهای جستجوی اینترنتی مرتبط است. استراتژی‌های سئو برای افزایش دید و رتبه وب سایت در صفحات نتایج موتور جستجو (SERP) برای کلمات کلیدی و پرس و جوهای خاص طراحی شده‌اند.

اصول سئو را می‌توان بسته به زمینه برای انواع دیگر موتورهای جستجو نیز اعمال کرد. به عنوان مثال، سازمان‌ها ممکن است از تکنیک‌های SEO در موتورهای جستجوی سازمانی خود برای بهینه‌سازی محتوای داخلی خود استفاده کنند. توسعه‌دهندگان موتورهای جستجوی تخصصی می‌توانند تکنیک‌های سئو را تغییر دهند و آن‌ها را روی تصاویر، ویدیوها یا انواع دیگر محتوا اعمال کنند. حتی با این تغییرات، اصول اصلی سئو ثابت می‌ماند. در ادامه انواع زیر مجموعه مختلف سئو در زمینه موتورهای جستجوی اینترنتی آورده شده است:

• سئوی فنی(Technical SEO) جنبه‌های فنی یک وب سایت را بهینه می‌کند تا دید موتور جستجو و تجربه کاربری آن را افزایش دهد. سرعت وب سایت، سازگاری با موبایل، معماری سایت و امنیت HTTPS برخی از ملاحظات بسیاری در سئو فنی هستند.
• سئو داخل صفحات(On-page SEO) صفحات مجزا را در وب سایت بهینه می‌کند تا رتبه بالاتری داشته باشد و ترافیک مرتبط را جذب کند. بهینه‌سازی کلمات کلیدی، متا تگ‌ها، تگ‌های هدر، ساختار URL و محتوای صفحه همگی عواملی در سئوی درون صفحه هستند.
• سئوی خارج از صفحه(Off-page SEO) شامل فعالیت‌هایی است که در خارج از وب سایت انجام می‌شود تا رتبه آن را افزایش دهد. این می‌تواند شامل به دست آوردن بک لینک‌های مرتبط از سایر وب سایت‌های معتبر، استفاده از پلتفرم‌ رسانه‌های اجتماعی و سایر تبلیغات خارجی مانند ارتباط با اینفلوئنسرها باشد.

روندهای جدید در موتورهای جستجو

چندین روند(Trend) جدید احتمالاً آینده موتورهای جستجو را شکل خواهند داد. در اینجا چند مورد از آنها آورده شده است:

• جستجوهای صفر کلیک(Zero-click searches) که در آن کاربر به جای کلیک بر روی یک پیوند، اطلاعات مورد نیاز خود را از صفحه نتایج جستجو دریافت می‌کند. این امر توسط هوش مصنوعی مولد، که اطلاعات را از منابع مختلف برای پاسخگویی به درخواست کاربر جمع‌آوری می‌کند، افزایش می‌دهد.
• موتورهای جستجو به طور فزاینده‌ای از هوش مصنوعی برای شخصی‌سازی نیز استفاده خواهند کرد. هوش مصنوعی ترجیحات کاربر و رفتار آنها (و همچنین هر زمینه مرتبط دیگر، مانند مکان) را در نتایج خود دخالت می‌دهد.
• دستگاه‌های فعال‌شده با صدا و پیشرفت‌ها در پردازش زبان طبیعی در حال حاضر منجر به افزایش اتکا به جستجوی صوتی شده است. موتورهای جستجو برای درک بهتر و پاسخگویی به سوالات مکالمه تکامل خواهند یافت.
• نگرانی‌های حفظ حریم خصوصی باعث توسعه موتورهای جستجوی متمرکز بر حریم خصوصی می‌شود. کاربران ممکن است به سمت موتورهای جستجویی گرایش پیدا کنند که حفاظت از داده‌ها را در اولویت قرار می‌دهند و گزینه‌های جستجوی ناشناس را ارائه می‌دهند.
• جستجوی بصری به پیشرفت خود ادامه خواهد داد. کاربران می‌توانند با استفاده از متن، تصاویر و ویدیو (که جستجوی چندوجهی نامیده می‌شود) علاوه بر آنچه در حال حاضر در دسترس است (مانند افزودن اعلان‌های متنی به جستجوی بصری) پرس‌وجوهای پیچیده ایجاد کنند.
• پاسخ دادن به سؤال برای ارائه گزیده‌های برجسته از پاسخ‌های سریع و مختصر به سؤالات کاربر در بالای نتایج جستجو، امری عادی شده است. بهینه‌سازی محتوا برای پاسخگویی به سوال یک استراتژی رو به رشد سئو در موتورهای جستجوی اینترنتی است.