بهینه سازی برای موتورهای جستجو

بهینه سازی برای موتورهای جستجو

مقدمه:

بهینه سازی برای موتور جستجو (SEO) فرآیند توسعه حجم یا کیفیت ترافیک یک وب سایت از موتورهای جستجو، از طریق نتایج جستجوی " طبیعی " (" ارگانیک " یا " الگوریتمی") است. اصولاً هرچه سایتی زودتر (بیشتر) در لیست نتایج جستجو ظاهر شود، در موتور جستجو بازدیدکنندگان بیشتری را دارا است. ممکن است SEO انواع مختلف جستجو شامل موتورهای جستجوی تصاویر، جستجوی محلی و همچنین جستجوی خاص صنعتی عمودی را مورد هدف قرار دهد که این عمل باعث بهبود حضور (Presence) وب سایت در اینترنت می شود.

به عنوان استراتژی دخیل در بازاریابی اینترنتی، SEO چگونگی عملکرد موتورهای جستجو و آنچه که افراد به دنبال آن هستند را مورد بررسی قرار می دهد. بهینه سازی وب سایت ابتدا شامل ویرایش محتوا و HTML آن است که کد کردن مربوط به این دو عمل ارتباط آن را با کلمات کلیدی خاص و حذف موانع فعالیتهای Indexing موتورهای جستجو افزایش می دهد.

اصطلاح "SEO" همچنین برای " بهینه سازان موتورهای جستجو" نیز به کار می رود . این واژه ای است که توسط گروهی از مشاوران صنعتی که پروژه های بهینه سازی را از طرف مشتریان خود انجام می دهند و یا توسط کارمندانی که خدمات SEO را در خانه انجام می دهند ، انتخاب شد. بهینه سازان موتورهای جستجو ممکن است SEO را به عنوان سرویسی خود اتکا (تک ایستا) و یا به عنوان بخشی از رقابتهای بازاریابی وسیعتری در نظر گیرند. به دلیل اینکه SEO اثر بخش ممکن است نیازمند تغییراتی در کد منبع HTML یک سایت باشد ، تاکتیک های SEO ممکن است در تعریف توسعه و یا طرح وب سایت نیز بکار گرفته شود. واژه "صمیمی با موتور جستجو" و یا "بهینه برای موتورهای جستجو" ممکن است برای تعریف طرح های وب سایت، منوها، سیستمهای مدیریت محتوا، تصاویر، ویدئوها، سبدهای خرید و سایر عوامل بهینه سازی شده که در معرض موتورهای جستجو قرارگرفته اند، به کار برده شود.

کلاس دیگر تکنیکها که بعنوان SEO کلاه مشکی و یا Spamdexing شناخته می شود، از روشهایی همچون link farm ، keyword suffing و article spinning که هم ارتباط نتایج جستجو و هم تجربه کاربر موتورهای جستجو را تضعیف می کند ، استفاده می نماید.

 1- تاریخچه :

 Webmaster ها و تهیه کنندگان محتویات در سال های میانی دهه 90 شروع به بهینه سازی سایت ها برای موتورهای جستجو کردند و این در حالی بود که اولین موتورهای جستجو در حال کاتالوگ سازی اولین وب سایت ها بودند. در ابتدا تمام کاری که یک webmaster باید انجام می داد ، ارائه آدرس صفحه و یا URL به موتورهای جستجوی مختلف بود که spider را جهت حرکت در آن صفحه ، استخراج لینک های صفحات دیگر از آن و بازگرداندن اطلاعات یافت شده در صفحه برای فهرست شدن بود. این روند شامل دانلود یک صفحه توسط spider موتور جستجو و ذخیره آن در سرور خود موتور جستجو است. یعنی جایی که برنامه دومی با نام indexer ، اطلاعات مختلف درباره صفحه همچون کلماتی را که شامل می شود و جایی را که واقع شده اند، و همچنین وزن آن کلمات خاص و تمام لینک های موجود در صفحه را استخراج میکند. لینک های موجود در صفحه در برنامه ای قرار داده می شوند که برای جستجوی بعدی مورد استفاده قرار گیرند.

دارندگان سایت به ارزش داشتن سایتی با رده بندی بالا و قابل مشاهده در نتایج موتورهای جستجو و ایجاد موقعیتی برای استفاده از آن پی برده اند . طبق گفته Danny Sullivan ، تحلیل گر صنعتی، واژه بهینه سازی موتورهای جستجو احتمالاً از سال 1997 مورد استفاده قرار گرفته است.

نسخه های اولیه الگوریتم های جستجو بر اطلاعات جمع آوری شده توسط webmaster همچون کلمه کلیدی meta tag و یا فایل های index در موتورهایی همچون ALIWEB استوار هستند. Meta tag ها راهنمایی برای دستیابی به محتویات هر صفحه اند اما استفاده از Meta data در صفحات index کمتر قابل اعتماد است، چرا که انتخاب کلمات کلیدی توسط webmaster در Meta tag می تواند بصورت بالقوه تظاهر غیر صحیح محتوای حقیقی سایت باشد. اطلاعات غیر صحیح، ناکامل و نا هماهنگ در متاتگ ها می توانند باعث رده بندی صفحات در جستجوهای غیر مرتبط شوند.

تهیه کنندگان محتوای وب به منظور رده بندی صحیح ، در منبع HTML صفحه چندین خصیصه در موتورهای جستجو ایجاد کردند.

با تأکید بسیار بر فاکتورهایی همچون تراکم و کلمه کلیدی، که منحصراً در کنترل Webmaster قرار دارد، موتورهای جستجوی اولیه و کاربران آنها از استفاده نا صحیح و دستکاری در رده بندی، بسیار زیان دیدند. موتورهای جستجو باید به منظور نمایش نتایج بدست آمده مربوطه تعدیل شوند. بدلیل اینکه موفقیت و شهرت یک موتور جستجو با توانایی اش در ارائه نتایج مربوطه تعیین می شود. بنابراین یافتن نتایج غیر معتبر و اشتباه باعث می شود کاربران به دنبال منابع جستجوی دیگری بروند.

بدین ترتیب موتورهای جستجو با در نظر گرفتن فاکتورهای دیگری که برای webmaster ها پیچیده تر بودند و با توسعه

الگوریتم های رده بندی پیچیده تر پاسخ مناسبی به این فریبکاری برخی وب مستر ها دادند.

Larry page و sergey brin ، فارغ التحصیلان دانشگاه Stanford ، موتور جستجوی "backrub" را که موتوری جهت رده بندی اهمیت صفحات وب و بر پایه الگوریتم ریاضیات می باشد را توسعه دادند. عددی را که الگوریتم محاسبه می کند، یعنی رتبه صفحه، عملکردی از میزان و قدرت لینک های درونی آن هستند. رتبه صفحه، احتمال و شانس ارائه صفحه را به کاربر اینترنتی که بصورت تصادفی در فضای اینترنتی به جستجو پرداخته است نشان می دهد. این بدین معنا است که برخی لینک ها از برخی دیگر قوی تر هستند و به عنوان یک صفحه با رتبه بالاتر، احتمال مشاهده شدن توسط کاربر اینترنتی به صورت تصادفی افزایش می یابد.

آقایان page و brin گوگل را در سال 1998 تاسیس کردند. گوگل در بین کاربران اینترنتی زیادی که طرح ساده آن را دوست داشتند، محبوبیت بسیاری کسب کرد. تفاوت گوگل در این بود که بر خلاف سایر موتورهای جستجوی به وجود آمده تا آن زمان، فاکتورهای خارج صفحه ای (همانند رتبه صفحه و آنالیز هایپرلینکی) را نیز همچون فاکتورهای داخل صفحه ای (همانند فرکانس کلمات کلیدی، متاتگ ها، عناوین (headings) لینک ها و ساختار سایت) در نتایج جستجویش مورد توجه قرار میگرفتند. اگر چه رتبه صفحه برای بازی و مانور نسبت به روش های قدیمی دشوارتر بود ولی webmaster ها ابزار ساخت لینک و طرح هایی را جهت تأثیرگذاری بر موتور جستجو توسعه دادند و ثابت شد که این روش ها بطور مشابه برای رتبه بندی صفحه نیز قابل استفاده هستند. بسیاری از سایت ها اغلب بصورت بسیار گسترده مبادرت به تبادل، خرید و فروش لینک ها می ورزند. بسیاری از این طرح ها یا link farmها در ایجاد هزاران هزار سایت و تنها به منظور link spamming دخیل بودند.

تا سال 2004 ، موتورهای جستجو با طیف وسیعی از فاکتورهای ناشناخته در الگوریتم های رتبه بندی به منظور کاهش تأثیر دستکاری در لینک فعالیت می کردند. گوگل می گوید با استفاده از بیش از 200 سیگنال، سایت ها را رتبه بندی می نماید. سه موتور جستجوی مطرح یعنی گوگل، یاهو و Bing مایکروسافت الگوریتم هایی که بمنظور رتبه بندی صفحات مورد استفاده قرار می دهند را منتشر نمی کنند. متخصصین مطرح SEO همچون Rand fishkin ، Barry Schwartz ، Aaron wall و Jill wahlen راهکارهای مختلفی را جهت بهینه سازی موتورهای جستجو مورد مطالعه قرار دادند و نظریات خود را در انجمن ها وبلاگهایشان مطرح نمودند.  متخصصین SEO ممکن است مطالب ثبت شده توسط موتورهای جستجوی مختلف را به منظور رسیدن به دیدگاه الگوریتم ها مورد مطالعه قرار دهند.

در سال 2005 گوگل شروع به شخصی سازی نتایج جستجو برای کاربران نمود. گوگل بر حسب تاریخچه جستجوهای پیشین، نتایج را برای کاربران عضو شده تهیه کرده است. در سال 2008 Bruce clay (بروس کلی) اظهار داشت که به دلیل جستجوی شخصی سازی شده "رتبه بندی مرده است" و بی معناست که چگونگی رتبه بندی وب سایت را مورد بحث قرار دهیم چرا که رتبه یا رده بندی آن به صورت بالقوه برای هرکاربر و هرجستجو متفاوت است.

در سال 2007 گوگل مبارزه ای را علیه لینک های غیر رایگان که رتبه صفحه را منتقل می کنند شروع کرد. در سال 2009 گوگل افشا کرد که آنها اقداماتی را جهت کاستن اثرات حالت glossary رتبه صفحه با استفاده از ویژگی (attribute) no follow در لینک ها انجام داده اند.

 2- ارتباط با موتورهای جستجو

 تا سال 1997 ، موتورهای جستجو دریافته بودند که webmaster ها در تلاش برای رتبه بندی خوب در موتورهای جستجوی خود هستند و یا حتی برخی از webmasterها رتبه بندی خود را در نتایج جستجو با قراردادن کلمات کلیدی بسیار زیاد و نامربوط دستکاری کرده بودند.

موتورهای جستجو اولیه همچون Info seek ، در تلاشی برای جلوگیری از دستکاری کردن رتبه بندی webmasterها ، الگوریتم های خود را تعدیل کردند.

به دلیل ارزش بالای بازاریابی نتایج جستجوی مورد نظر، پتانسیلی برای رابطه رقابتی بین موتورهای جستجو و ارائه دهندگان خدمات SEO وجود دارد. در سال 2005 ، کنفرانس سالیانه بازیابی اطلاعات رقابتی در وب (AIR WEB) به منظور بررسی و کاستن اثرات زیان بخش سازندگان محتوای وب برگزار گردید.

شرکتهای SEO که تکنیک های بسیار خصمانه را مورد استفاده قرار می دهند، می توانند وب سایت های مشتریان خود را از دستیابی به نتایج جستجوها منع کنند. در سال 2005، مجله Wall street گزارشی را در مورد شرکتی به نام Traffic power منتشر کرد. این شرکت از تکنیک هایی با ریسک بالا استفاده کرد و ریسک ها را برای مشتریان خود افشا نکرد. مجله wird  گزارش داد که همان شرکت از متخصصی به نام Aaron wall برای نوشتن در مورد موانع این کار استفاده کرده است. بعدها سخنگوی گوگل اعلام کرد که traffic power و تعدادی از مشتریان خود را رد کرده است.

برخی از موتورهای جستجو نیز به سراغ SEO رفتند و در کنفرانس ها و سمینارهای SEO بعنوان اسپانسر و یا میهمان شرکت کردند. در حقیقت برخی از موتورهای جستجو سرمایه ای را جهت سلامت و بهینه سازی این انجمن ها تخصیص داده اند. موتورهای جستجوی اصلی اطلاعات و رهنمودهایی را برای کمک به بهینه سازی سایت ارائه می دهند. گوگل جهت کمک به Webmasterها جهت درک اینکه آیا گوگل در زمینه indexing دارای مشکلاتی است یا خیر برنامه نقشه سایت را ارائه داده است. همچنین گوگل اطلاعاتی را در زمینه ترافیک منتشر می کند. رهنمودهای گوگل لیستی از عملیات پیشنهادی است که گوگل به عنوان راهنمایی برای webmasterها تهیه کرده است. مرورگر سایت yahoo راهی را جهت ارائه URL به webmaster ها نشان می دهد و تعیین می کند چند صفحه در yahoo وجود دارند و اطلاعات لینک را در فهرست (index) نشان می دهد.

3- روشها

الف: روشهای بهینه سازی برای موتور جستجو

1) فهرست (index) شدن

موتورهای جستجوی مطرح همچون گوگل و یاهو جهت یافتن نتایج جستجوی الگوریتمی، از خزنده ها (crawlers) استفاده می کنند. صفحاتی که دارای لینک سایر صفحات فهرست شده موتورهای جستجو هستند، نیاز به فهرست شدن ندارند چرا که بطور خودکار یافت میشوند. برخی از موتورهای جستجو همچون یاهو دارای سرویس ارائه غیررایگان هستند که گردش در سایت را با تعیین هزینه مورد نظر به ازای هر کلیک تضمین می نماید. چنین برنامه هایی معمولاً وجود در دیتابیس را تضمین کرده ولی رتبه بندی خاص در نتایج جستجو را تضمین نمی کنند. دو فهرست اصلی، یعنی فهرست "یاهو" و یا پروژه "فهرست باز" هر دو نیازمند ارائه دستی و بازنگری ویرایشی توسط یک شخص حقیقی هستند. گوگل ابزار Webmaster گوگل را ارائه می دهد که با استفاده از آن می توان feed نقشه سایت XML را بصورت رایگان ایجاد و ارائه نمود تا یافتن تمامی صفحات بویژه صفحاتی که با جستجوی خودکار قابل دستیابی نیستند تضمین شوند .

(گردشگران) Crawler های موتورهای جستجو ممکن است هنگام گشت زدن به فاکتورهای متعددی توجه داشته باشند. تمامی صفحات توسط موتورهای جستجو فهرست نمی شوند. فاصله صفحات از فهرست اصلی یک سایت ممکن است عاملی در یافته شدن یا نشدن صفحات باشد.

2) جلوگیری از گشت زنی (crawling) و استاندارد خروج روبات ها

به منظور جلوگیری از یافتن محتوای ناخواسته در شاخص های جستجو ، webmaster ها می توانند به spiderها بگویند فایلها و یا فهرست های خاص را از طریق فایل robots.txt در فهرست اصلی دومین (domain) جستجو نکنند به علاوه مسلماً یک صفحه می تواند با استفاده از متاتگ ویژه روبات ها از دیتابیس یک موتور جستجو خارج شود.

زمانیکه موتور جستجویی سایتی را مشاهده می کند، فایل robots.txt واقع در فهرست اصلی، اولین فایلی است که جستجو می شود. این فایل سپس بررسی می شود و به روبات دستور می دهد چه فایلهایی را نباید جستجو (crawler) کند. به دلیل اینکه crawler یک موتور جستجو ممکن است کپی کش شده این فایل را نگه دارد، ممکن است گاهاً صفحاتی که webmaster نمی خواهد، بازبینی شود. صفحاتی که عموماً از گشت زنی نفی می شوند، شامل صفحات ورود و خروج اعضا یا سبدهای خرید و صفحات مخصوص کاربران که از جستجوهای درون سایتی بدست می آیند است. در ماه مارس 2007 گوگل به webmaster ها اخطار داد که آنها باید از indexing نتایج جستجوی داخلی جلوگیری کنند، چرا که آن صفحات به عنوان اسپم جستجو تلقی می گردند.

3) افزایش اهمیت

روشهای متعدد دیگری نیز جهت نمایش یک صفحه در نتایج جستجو می تواند مورد استفاده قرار گیرند. این روشها شامل موارد زیر هستند:

تبادل لینک بین صفحات یک وب سایت: اختصاص لینک های بیشتر به صفحات اصلی وب سایت به منظور افزایش رتبه صفحه مورد استفاده قرار گرفته توسط موتورهای جستجو و یا لینک از وب سایتهای دیگر شامل link farming و comment spam.

نوشتن محتوایی که شامل عبارات و کلمات کلیدی تازه جستجو شده باشد به طوریکه با بسیاری از سئوالات جستجو مربوط و مرتبط باشد . افزودن کلمات کلیدی به متاتگ های صفحات وب شامل keyword stuffing (قرار دادن کلمات کلیدی)

عادی سازی URL صفحات وب که از طریق URL های چندگانه قابل دستیابی باشند با استفاده از متاتگ "Canonical"

4- کلاه سفید در مقابل کلاه مشکی

تکنیکهای SEO را می توان به دو گروه گسترده دسته بندی کرد :

تکنیکهایی که موتورهای جستجو به عنوان طرح خوب پیشنهاد می دهند و تکنیکهایی که موتورهای جستجو تأیید نمی کنند. موتورهای جستجو سعی در به حداقل رساندن اثرات تکنیکهای دسته دوم و علی الخصوص Spamdexing  را دارند. برخی از گزارشگران صنعتی این روشها را دسته بندی کرده و متخصصین یا از آنها بعنوان SEO کلاه سفید یا SEO کلاه مشکی استفاده کرده اند. کلاه سفید ها تمایل دارند نتایجی را دارای مدت ماندگاری بیشتری باشند را ارائه دهند در حالیکه کلاه مشکی ها پیش بینی می کنند که به محض اینکه موتورهای جستجو متوجه اهداف آنها شوند، سایتهایشان را به طور موقت و یا دائم ممنوع و منع می کنند.

روش SEO به شرطی کلاه سفید تلقی می گردد که مطابق رهنمودهای موتورهای جستجو باشد و شامل هیچ فریبکاری نباشد. به دلیل اینکه رهنمودهای موتور جستجو به عنوان یک سری قوانین و اصول نوشته نشده اند، مطلب ذکر شده از اهمیت بالائی برخوردار است. SEO کلاه سفید تنها در مورد پیروی از رهنمودها نیست، بلکه تضمین می نماید محتوایی را که یک موتور جستجو index و در نتیجه رتبه بندی می کند، همان محتوایی است که کاربر مشاهده می نماید. هدف کلاه سفید در واقع به عنوان تهیه محتوایی برای کاربران و نه برای موتورهای جستجو و در نهایت قابل دسترس ساختن محتوا برای spiderها به جای منحرف ساختن الگوریتم از رسیدن به هدفش است.

SEO کلاه سفید از بسیاری از جهات مشابه توسعه وب است، چرا که دسترسی را آسان می سازد اگرچه این دو یکسان نیستند.

هدف SEO کلاه مشکی توسعه رتبه بندی به روشهایی است که توسط موتورهای جستجو رد شده و یا دارای فریبکاری است. یکی از تکنیکهای کلاه مشکی استفاده از متن هایی است که نمایش داده نمیشوند، به عنوان مثال زمانیکه رنگ متن با رنگ زمینه یکسان باشد متنی دیده نمیشود ولی موتور جستجو متن ها رو میبیند. روش دیگری که Cloaking نامیده می شود به این گونه است که نرم افزار های نصب شده بر روی سایت به کاربران حقیقی مطالبی را نشان میدهند، ولی به موتورهای جستجو مطالب دیگری را تحویل میدهند.

موتورهای جستجو ممکن است استفاده کنندگان از روش های کلاه مشکی را جریمه کنند، بدین ترتیب که یا رتبه بندی آنان را پایین برند و یا لیست بندی آنان را از دیتابیسشان حذف نمایند.

چنین جریمه هایی یا می توانند به طور خودکار توسط الگوریتم های موتورهای جستجو و یا توسط بازدید دستی سایت اعمال شوند. مثال غیرمعمول آن حذف BMW و Ricoh آلمان برای فعالیتهای فریبنده آنان توسط گوگل در فوریه سال 2006 بود و همچنین در ماه آوریل 2006، حذف آژانس ppc big mouth media بود . اگرچه هر سه این شرکتها با اعلام پشیمانی و اصلاح صفحات به لیست گوگل بازگشتند.