نحوه کار موتورهای جستجو
برای آن که با نحوه کار موتورهای جستجو آشنا شوید ابتدا باید مطالبی را درباره لینک ها، ربات ها و ایندکس کردن بدانید. موتورهای جستجو برنامه هایی ایجاد کرده اند که با نام ربات ها شناخته می شوند. به این ربات ها خزنده(crawler) یا عنکبوت(spider) گفته می شود. هر موتور جستجوگر از یک ربات منحصر به فرد برای خود استفاده می کند. این ربات ها در تلاش هستند تا صفحات وب و اسناد جدیدی را کشف کنند. یکی از راه هایی که ربات ها، سایت های جدید را کشف می کنند از طریق لینک هاست. اگر وب سایت دیگری به وب سایت شما لینک دهد، پیدا کردن شما برای ربات ها ساده تر می شود. ربات ها می توانند از این نقشه برای کاوش در وب و کشف مدام صفحات جدید استفاده کنند. در اوایل اینترنت، وب مسترها مجبور بودند سایت خود را به موتورهای جستجو ارسال كنند تا بتوانند توسط ربات ها كشف شوند.
اکنون ربات ها سایت شما را به تنهایی نیز پیدا می کنند. کافیست شما از ابزارهای رایگانی چون گوگل وبمستر در سایت خود استفاده کنید. در این صورت شما، سایت خود را به ربات های گوگل معرفی می کنید. هنگامی که یک ربات یک صفحه یا سایت جدید را کشف کرد، تمام مطالب و داده های موجود در صفحه را تجزیه و تحلیل می کند تا مشخص کند صفحه در مورد چیست و موضوعاتی که باید برای آن رتبه بندی کند کدامند. سپس این سایت به یک بانک اطلاعاتی گسترده اضافه می شود، که به عنوان یک فهرست نیز شناخته می شود. هر صفحه، فهرست بندی می شود بنابراین موتورهای جستجو می توانند در صورت لزوم اطلاعات را سریعا بررسی کنند و نتایج مناسب را به جستجوی کاربر نشان دهند. برای کمک به سرعت بخشیدن به این روند، مراکز داده زیادی در سراسر جهان وجود دارند که امکان دسترسی سریع به تعداد بیشتری از اطلاعات را فراهم می کنند. هنگامی که یک کاربر عبارتی را جستجو می کند، موتورهای جستجوگر فهرست صفحات وب خود را که خزیده و تجزیه و تحلیل کرده اند از طریق فهرست خود جستجو می کنند. آنها سپس نتایج را در کسری از ثانیه برمی گردانند. در کسری از ثانیه، یک موتور جستجو ابتدا باید مشخص کند که کدام نتایج بیشتر به درخواست کاربر مربوط هستند و همچنین نتایج مربوطه را رتبه بندی کند. در گذشته موتورهای جستجو فقط به مطالب موجود در صفحه شما نگاه می کردند، و بررسی می کردند کدام کلمات بیشتر در آن صفحه به کار رفته است. به این کلمات، کلمات کلیدی گفته می شود. اما امروزه موتورهای جستجو بسیار باهوش تر شده اند. امروزه صدها عامل در ارتباط یک صفحه با کلمات کلیدی بررسی می شود. این عوامل همه بخشی از یک سری الگوریتم هستند که در ادامه درباره آنها صحبت خواهیم کرد.
