فهرست

مقدمه

تاریخچه

موتورهای جستجو

سازوکار موتورهای جستجو

وب نامرئی

مقایسه وب مرئی و نامرئی

چه زمانی از وب نامرئی استفاده می کنیم

انواع وب نامرئی

دلایل عدم بازیابی و نمایه سازی وب نامرئی توسط موتورهای جستجو §ویژگیهای محتوایی وب نامرئی

ابزارهای دستیابی به وب نامرئی

مثالی از جستجوی وب نامرئی

آینده وب نامرئی

یک جستجوگر وب چه باید بکند

نتیجه گیری

منابع

مقدمه

هر چه بر حجم و تنوع منابع موجود در شبکه وب افزوده می گردد، بحث جستجو و اطلاع یابی در محیط وب ابعاد و جنبه های گسترده تر و پیچیده تری به خود می گیرد.

موتورهای جستجو هر چقدر هم که خوب باشند، نمی‌توانند تمام اطلاعات موجود در وب را پوشش دهند. با توجه به همین واقعیت بود که مفهومی با عنوان وب نامرئی( وب پنهان ) و نحوه دسترسی و استفاده از آن مطرح شد.

تاریخچه

شبکة جهانی اینترنت در اواخر دهة ۱۹۶۰ایجاد گردید.

در سال ۱۹۹۰ شبکة جهانی وب در« آزمایشگاه فیزیک ذره ای اروپا » واقع در سوئیس توسط «تیم برنرزلی» ابداع شد، و همچنین اولین ابزار کاوش توسط «آلان امتیج» در دانشگاه «مک گیل» با عنوان «آرکی» ابداع شد. § §مرور نوشتارها نشان می دهد که به احتمال زیاد واژه وب نامرئی برای نخستین بار در سال 1994 توسط محققی به نام ”دکترژیل السورث“ ابداع شده است.

با این حال نام“ کریس شرمن و گری ﭘرایس ”به عنوان دو نفر از صاحب نظران اصلی دراین موضوع بیشتر از دیگران به چشم می خورد و تعریفی که آنان در سال 2001 از وب نامرئی ارائه کرده اند در اغلب منابع ذکر شده است.

ابزارهای کاوش در وب

فایل ورد word قابل ویرایش: 45 صفحه

فایل پاورپوینت: 31 اسلاید

فهرست مطالب

عنوان صفحه

مقدمه 6

فصل اول: موتورهای جستجوگر

1-1- اینترنت و حضور در آن 8

2-1- تاریخچه جستجو گرها 8

3-1- علت پیدایش موتورهای جستجو 9

4-1- موتور جستجو چیست؟ 9

5-1- معرفی انواع جستجوگرها 10

6-1- نگاهى به موتورهاى جستجو در اینترنت,جستجو میان صدها میلیون صفحه 17

1-6-1- جستجو میان صدها میلیون صفحه 18

2-6-1- ایجاد فهرست 20

3-6-1- آینده موتورهاى جستجوگر 22

فصل دوم: سئو (SEO) و بهینه سازی صفحات

1-2- سئو (SEO) و بهینه سازی صفحات چه ارزشی دارد؟ 24

2-2- سئو(SEO) علم است یا هنر ؟ SEM چیست؟ 26

3-2- بازاریابی موتورهای جستجو یا SEM یعنی چه؟ 27

4-2- چرا SEO مهم است؟ 27

5-2- چه کسانی به SEO احتیاج دارند؟ 28

6-2- ابزارهای SEO چیست؟ 28

7-2- مقدمات SEO, شروع بهینه سازی 29

1-7-2- انتخاب واژه های کلیدی 29

2-7-2- فرایند بهینه سازی 31

3-7-2- بهینه سازی متن ها 32

4-7-2- محل اعمال پارامترها 33

فصل سوم: اسرار و ترفندهای بهینه سازی

1-3- اسرار و ترفندهای بهینه سازی صفحات 34

2-3- ساختار سایت 40

3-3- بهینه سازی تصاویر و پیوندها 41

4-3- استفاده بهینه از متن 41

5-3- معرفی به موتورهای جستجو و فهرست ها 41

6-3- تبلیغات در موتورهای جستجو 42

منابع 44

فهرست شکلها

عنوان شکل صفحه

شکل (1-1) 13

شکل (1-2) 26

شکل (2-2) 30

شکل (1-3) 34

مقدمه

SEO یا بهینه سازی بر پایه موتورهای جستجو درواقع پاسخ به نیاز اصلی سایت های وب جهان گستر یعنی ترافیک هدفمند یا آمار بالای بازدید کنندگان از سایت است. برای داشتن بیننده در یک سایت یا به عبارت دیگری بازاریابی برای یک سایت چندین روش وجود دارد :

روش نخست تبلیغات در خارج از وب است. یعنی تبلیغات به روش سنتی ، کارایی این روش به دلایل زیر چندان مناسب نیست. با وجود اینترنت و پیامدهای آن توجه جامعه ی جهانی ازرسانه های دیگر به سمت این پدیده کشیده شده وتبلیغات به روش سنتی حتی در زمینه های قبلی نیز کارایی خود را از دست داده چه برسد برای کار کرد در خود اینترنت. گذشته از این چون این تبلیغات درخارج از محیط وب انجام می شود ،پس تاثیر گذاری آن کم است. تصور کنید که این تبلیغ روی تابلوی تبلیغاتی یک اتوبان نصب شده باشد ، حتی در صورتی که توجه بیننده را جلب کند، احتمال اینکه او به سایت مورد نظر برود کم است چون تا از خیابان به منزل یا محل کار یا محیطی که در آن به اینترنت دسترسی دارد برود ،فاصله زمانی زیادی رخ داده و تاثیرگذاری آگهی از بین رفته است.

روش دوم تبلیغات در خود وب است به عنوان مثال قراردادن یک flash تبلیغاتی در یک سایت پر بیننده. که کار روش دوم در اکثر موارد از روش اول بهتر است اما ضعفهایی هم دارد مثلا هزینه ی زیاد واینکه ما مطمئن نیستیم که کاربران آن سایت پر بیننده به آگاهی ما علاقه مند هستند یا نه .

یک روش نوین دیگر هم وجود داردکه با روش های سنتی کاملا در تضاد است . در این روش در واقع به جای ارائه ی سایت به بیننده در واقع به نیاز وپرسش خود او جواب می دهیم . اینجا به جای اینکه دنبال بیننده باشیم خود بیننده ما را پیدا کرده وبه سراغ ما می آید . اما او چگونه اینکار را انجام می دهد؟ بهتر است از آمار کمک بگیریم تا متوجه شویم که کاربران اینترنت چگونه موضوع های مورد علاقه ی را پیدا می کنند :

تقریبا 90% از کاربران اینترنت با حداقل یک موتور جستجوگر آشنا هستند و از آن استفاده می کنند .50% از کاربران اینترنت هر روز جستجو می کنند که بیش از نیمی از این جستجوها برای کالا یا خدمات است .

یکی از اولین کارهایی که یک کاربر تازه کار شبکه انجام می دهد ، جستجو در یکی از موتورهای جستجوگر است .

از آمار بالا نتیجه می شود که جستجوگرها محبوب ترین ابزار برای جستجوی اطلاعات در محیط وب هستند پس در این روش سعی می شود تا کاربر به این روش ما را پیدا کند درنتیجه چیزی که خود او به دنبالش بوده را ما به او ارائه می کنیم .

نیاز به جستجوگرها یک نیاز انکارنا پذیر است . باتوجه به حجم عظیم وب و اطلاعاتی که روزانه به وب افزوده می شود کاربروب برای پیدا کردن موضوع خاصی در وب با وجود این همه اطلاعات بی پایان دچار مشکل است و پیداشدن موتور های جستجوگر درواقع پاسخ بر این نیاز کاربران است. درSEO سعی براین است که بینندگان بیشتری بااین روش با سایت مورد نظر روبه رو شوند به عبارت بهتر سایت با صفحه ی مورد نظر درصفحه ی نتایج موتور جستجوگر که به کاربر ارائه می شود رتبه ی بالایی کسب کند . هدف نهایی قرار گرفتن در صفحه ی اول نتایج است (نتایج اول تا دهم) و اولویت به نتایج اول تا سوم است .

گذشته از این ها مهمترین نقش SEO در تجارت آنلاین است یعنی جایی که حضور بیننده پر اهمیت ترین موضوع است. شرکت های بزرگ سرمایه گزاری زیادی برای قرار گرفتن سایت شان در لیست جستجوگرهای بزرگ انجام می دهند همین موضوع باعث رونق بازار SEO شده است.

فصل اول:

موتورهای جستجوگر

1-1- اینترنت و حضور در آن

از سال ۱۹۹٢ یک منبع بسیار مهم دیگر به منابع اطلاعاتی اضافه شد و آن شبکه جهانی وب (World Wide Web) یا همان اینترنت است. به جز کاربرد در زمینه اطلاع رسانی اینترنت کاربردهای بیشمار و غیر قابل تصوری در تجارت و سایر زمینه های زندگی نیز پیدا کرده است. به بیان دیگر امروزه در هر زمینه ای که بتوان تصور کرد، اینترنت یک ابزار موثر و توانمند به حساب می آید. حضور در اینترنت حقیقتا باید بخشی از بازاریابی شما باشد.

2-1- تاریخچه جستجو گرها

در اولین روزهای گسترش اینترنت، کاربران آن آزادی عملی کمی داشتند و مقدار اطلاعات آن نیز نسبتا کم بود. بیشتر دسترسی به اینترنت توسط کارکنان دانشگاهها و آزمایشگاه ها بود که از آن به منظور دستیابی به اطلاعات علمی استفاده می کردند. در آن روزها مشکل یافتن اطلاعات در اینترنت به اندازه امروز بحرانی نبود. دایرکتوریها یکی از اولین شیوه هایی بودند که دسترسی به منابع اطلاعات در شبکه را آسان می نمودند. در دایرکتوریها منابع اطلاعاتی بر اساس موضوع طبقه بندی شده بودند.

3-1- علت پیدایش موتورهای جستجو

با وجود حجم روز افزون طراحی و راه اندازی سایت های وب مختلف، نیاز به دستیابی به مرکزی برای شناسایی این پایگاه ها برای استفاده بهتر و بیشتر کاربران وب، امر مهمی به شمار آمد. از آنجا که سایت ها و مطالبی که در وب منتشر می شوند، توسط هیچ مرکز رسمی بین المللی مسئول در اینترنت اعلام نمی شود تنها راه پیدا کردن یک موضوع، اطلاع داشتن دقیق از آدرس آن سایت به نظر می رسد.
موتور های جستجو برای سهولت دسترسی کاربران به مطالب موجود در سایت های وب راه اندازی شده اند. در واقع بدون نیاز به موتور های جستجو قادر نخواهیم بود تا از به روز رسانی های سایت های وب اطلاع کسب کنیم و نیازهای تحقیقاتی و آموزشی و تجاری و خبری و ... خود را پوشش دهیم. مهمترین توانایی موتورهای جستجو جذب مخاطبان واقعی سایت است. مخاطبان وبگرد و سرگردان معمولا ارزش چندانی ندارند.

4-1- موتور جستجو چیست؟

جویشگر یا موتور جستجو (به انگلیسی: Search Engine)، در فرهنگ رایانه، به طور عمومی به برنامه‌ای گفته می‌شود که کلمات کلیدی را در یک سند یا بانک اطلاعاتی جستجو می‌کند. در اینترنت به برنامه‌ای گفته می‌شود که کلمات کلیدی موجود در فایل‌ها و سندهای وب جهانی، گروه‌های خبری، منوهای گوفر و آرشیوهای FTP را جستجو می‌کند.

برخی از جویشگرها برای تنها یک وب‌گاه(پایگاه وب) اینترنت به کار برده می‌شوند و در اصل جویشگری اختصاصی آن وب‌گاه هستند و تنها محتویات همان وب‌گاه را جستجو می‌کنند.

برخی دیگر نیز ممکن است با استفاده از SPIDERها محتویات وب‌گاه‌های زیادی را پیمایش کرده و چکیده‌ای از آن را در یک پایگاه اطلاعاتی به شکل شاخص‌گذاری‌شده نگهداری می‌کنند. کاربران سپس می‌توانند با جستجو کردن در این پایگاه داده به پایگاه وبی که اطلاعات موردنظر آن‌ها را در خود دارد پی ببرند.

5-1- معرفی انواع جستجوگرها

قبل از اینکه به تکنیکهای SEO بپردازیم لازم است که یک شناخت کلی از یک جستجوگر داشته باشیم. ابتدا به برسی ساختار یکی از انواع مهم جستجوگر ها یعنی Search Engine می پردازیم.

Search Engine -1

هر موتور جستجوگر چندین بخش مرتبط به هم دارد :

1. روبات نرم افزاری : تشکیل شده از دو بخش است : Spider و Crawler

Spider یا عنکبوت نوعی برنامه نرم افزاری است که وظیفه کاوش در وب و جمع آوری اطلاعات از وب و ارسال آن به موتور جستجوگر را به عهده دارد . و کراولر تعیین می کند که Spider باید چه کارهایی انجام دهد. کار Spider به این صورت است که طبق دستور Crawler به یک صفحه می رود اطلاعات آن صفحه را از رویSource صفحه خوانده .و به Search Engine ارسال می کند سپس باز هم با دستور Crawler لینک هایی که در آن صفحه وجود دارند را دنبال می کند .در صفحه های مقصد باز هم همین عمل را تکرار می کند . به این ترتیب Spider با دنبال کردن لینک ها )تارهای شبکه وب( مانند یک عنکبوت در شبکه تار عنکبوتی وب حرکت می کند و اطلاعات جدید را جمع آوری می کند . مجموعه روبات نرم افزاری وظیفه بایگانی کردن وب را به عهده دارد .

2. بایگانی : این قسمت شامل بخش تجزیه و تحلیل گر (Indexer) وبخش پایگاه داده

(Database) است.

Indexer : اطلاعاتی را که روبات نرم افزاری جمع آوری میکند در اختیار این بخش قرار میدهد. Indexer اطلاعات ارسالی را تجزیه و تحلیل می کند. به عبارت دیگر اطلاعات را سازماندهی می کند. به عنوان مثال در یک سند چند کلمه وجود دارد، کلمات کلیدی در کجای متن هستند، نسبت کلمات کلیدی به کل متن چند است، تصاویر در کجای صفحه هستند و به طور کلی همه پارامترهایی را که به جستجوگر، در تعیین رتبه سند کمک میکنند در این مرحله بدست میایند. این پارامترها در Indexer به یک مقیاس عددی تبدیل می شوند تا سیستم رتبه بندی بتواند الگوریتم های خاص ویژه و فوق محرمانه موتور جستجوگر را که آنها هم محرمانه هستند اعمال کند و در نهایت رتبه هر سایت مشخص می شود.

Indexer سپس اطلاعات صفحه و پارامترها را در اختیار پایگاه داده جستجوگر قرار می دهد. با توجه به اینکه هر جستجوگر نوعی بایگانی کننده وب به شمار می رود، پس باید پایگاه داده عظیمی برای بایگانی وب داشته باشد. علاوه بر این یک جستجوگر باید الگوریتم های خاصی برای جستجو در پایگاه داده خودش داشته باشد تا در کمترین زمان اسناد مورد نظر را بر اساس سوالات کاربر ارائه دهد.

علاوه بر این برای بالا بردن سرعت جستجو در پایگاه داده، اطلاعات گروه بندی و کدگذاری می شوند تا دسترسی به آنها آسانتر شود. این مرحله ضعف عمده جستجوگرها بشمار می رود چون در صورت وجود ابهام در سوال کاربر و گروه بندی های کلی نتایج بسیار وحشتناکی ببار می آورد . یکی از تفاوت های عمده موتورهای جستجوگر در حجم پایگاه داده آنها و همینطور نحوه سازماندهی اطلاعات و جستجو در پایگاه داده است.

هر موتور جستجوگر فقط نتایجی را به کاربر ارائه می دهد که در پایگاه داده اش وجود دارند، به عبارت بهتر عمل جستجو فقط در پایگاه داده جستجوگر انجام می شود. پس، پیش از مراجعه کاربر، جستجوگر باید پایگاه داده خود را آماده کند.

3. سیستم رتبه بندی Ranker : این مرحله تنها مرحله ای است که بعد از وارد کردن

کلمات کلیدی توسط کاربر انجام می شود. یعنی قبل از عمل جست و جو مراحل قبل باید به پایان رسیده باشند؛ Spider اطلاعات را ارسال کرده، در جستجوگر اطلاعات تجزیه تحلیل و ذخیره شده اند و پایگاه داده جستجوگر آماده شده است و سیستم آماده پاسخگویی می شود.

البته کار روبات نرم افزاری هیچگاه تمام نمی شود و دائما در حال پرسه زنی و جمع آوری اطلاعات از وب است. بعد از اینکه کاربر کلمات کلیدی خود را وارد کرد، این کلمات در بانک اطلاعاتی جستجو می شوند و نتایج مرتبط بدست می آید. اما هنوز یک مرحله باقی مانده است، یعنی چگونگی ارائه این نتایج به کاربر. اگر نتایج جستجو کم باشد مشکل چندانی پیش نمی آید و نتایج در یک صفحه به کاربر ارائه می شوند. اما در صورتی که صفحات زیادی پیدا شود مثلا چند هزار صفحه، در این صورت، تصمیم گیری در مورد اینکه کدام صفحات در رتبه های بالا بویژه بین ده رتبه اول قرار بگیرند بسیار مهم است.

سیستم رتبه بندی این وظیفه را به عهده دارد. این سیستم با اعمال یکسری الگوریتم های ویژه و خاص و البته محرمانه، روی پارامترهای سندهای مختلف، به هر صفحه یک رتبه اختصاص می دهد و در نهایت صفحات در خروجی به ترتیب از بیشترین تا کمترین ارتباط مرتب می شوند.

مهمترین تفاوت موتورجستجوگرهای مختلف، تفاوت در الگوریتم های سیستم رتبه بندی آنها است. همین موضوع باعث می شود که یک کلیدواژه در چند جستجوگر مختلف، نتایج متفاوتی داشته باشد.

هدف از بهینه سازی سایت این است که پارامترهای مورد توجه جستجوگر که در صفحات سایت وجود دارند را طوری تنظیم و بهینه کنیم که در سیستم رتبه بندی و بعد از اعمال الگوریتم ها روی آنها، رتبه مناسبی به سایت داده شود.

نکته قابل توجه این است که هیچکدام از این پارامترها و الگوریتم ها شناخته شده و قطعی نیست و در موتورهای مختلف، متفاوت است. و در طول فرایندهای بهبود رتبه، از روی تجربه و مقایسه نتایج مختلف حدس زده می شوند.

مهمترین ویژگی این نوع جستجوگرها، وجود روبات نرم افزاری است که هیچگاه از فعالیت نمی ایستد و همواره اطلاعات جدید وب را جمع آوری می کند یا اطلاعات قدیمی را به روز می کند. که این امر به روز بودن نتایج ارائه شده را در پی دارد.

مهمترین جستجوگر در این دوره Google است.

*مقاله اینترنت چیست*

چکیده :

موضوعی که در این مجموعه مورد بررسی قرار گرفته است ترتیب اولویت بندی موتورهای جستجو در اینترنت می باشد موارد Search شده در Search engine به ترتیب های خاصی از بالا به پایین قرار می گیرند وهر موتور جستجو برای این اولویت بندی الگوریتم خاصی را درنظر می گیرد که این یک راز و رمز تجاری برای طراحان آن می باشد .

ما در این مجموعه در ابتدا به توضیح مختصری درباره تاریخچه web پرداخته و پس از آن مفهوم الگوریتم را توضیح داده ایم .

دربخش بعدی با جستجو به وسیله موتورهای مختلف در ابتدا طریقه کارکردموتورهای جستجو را بیان کرده و قسمتهای مختلف یک موتور جستجو را توضیح داده ایم و سپس متذکر شده ایم که همه موتورها از یک سری کلی پیروی می کنند اماهر یک الگوریتم خاص خود را بپردازند .

پس از آن به توضیح بیشتر نمونه الگوریتمهای ارائه شده توسط چند موتور جستجو از جمله Google , Yalooپرداخته ایم .

سرگذشت اینترنت

برای مردمی که تحت بمباران رسانه ها قرار گرفته اند گویی اینترنت زادگاهی نداشته است . سالها ، مودمهای خفته کار کمی داشتند و فقط گاه باbbs ارتباط برقرار می کردند . سیستمهای در آن روزها سیستمهای فقط متنی و بدون گرافیک بودند وکلمه online ( روی خطی ) و اینترنت کلمه های شناخته شده ای نبودند اینترنت فقط برای دانشمندان علوم کامپیوتر ، دانشگاهیان و پژوهشگران تجهیزات جنگی که درباره پژوهشهای جدید بحث می کردند ، کلمه ای آشنا بود .

همه اینها در چند سال گذشته روی ، داد اینترنت امروز به کاربران این امکان را می دهد که عقاید خود را برای میلیونها نفر ا زمردم جهان ابراز کنند . اینترنت با فراهم ساختن امکانات انتقال هر چیزی از نرم افزار و موسیقی گرفته تا تصاویر گرافیکی ، چهره دنیای کامپیوتر را تغییر داده است . اینترنت تقریبا همه جاهست . و تقریبا هر چیزی را می توان در آن پیدا کرد .

اینترنت چیست ؟

با آنکه همه روزه خبرهایی درباره اینترنت از رادیو ، تلویزیون و روزنامه ها می‌بینیم، تعداد کمی از مردم آن را کاملا می شناسند . اصطلاحاتی چون ( ابر بزرگ اطلاعاتی ) و (وب جهان پهنا ) اغلب معادل اینترنت به کار برده می شود ، اما اینترنت در واقع هیچ کدام از اینها نیست . اینترنت یک مکان با یک مقصد نیست . یک شبکه است مکانیسمی برای انتقال داده ها از یک کامپیوتر به سایر کامپیوترها ست .

از بعضی جهات ، مانند شبکه کامپیوتری یک سازمان کوچک است اما در مقیاس جهانی ، تنها چیز جادویی درباره آن اندازه بسیار بزرگ آن است .

اینترنت جهانی را می توان مانند سیستم تلفن جهانی در نظر گرفت . اگر شخصی در تهران به شخص دیگری در پاریس تلفن بزند . سیگنال صوتی از طریق تعدادی از خطوط تلفن و وایستگاههای مخابراتی شرکتهای مختلف ( که کامپیوتر های سوئیچ کننده دارند ) عبور می کند همه شرکتها از استانداردهای خاصی پیروی می کنند ( که پروتوکل نامیده می شود ) به گونه ای که هر دستگاه موجود در مسیر بتواند بایک نوع سیگنال سر وکار داشته باشند . وقتی شخص واقع در تهران با تلفن صحبت می کند صدایش با استفاده از کامپیوترها ، خطوط تلفن ، ماهواره ها وسایر وسایل الکترونیکی ازمرزها و دریاها عبور می کند وبه مقصد می رسد .

اینترنت نیز شبکه ای از خطوط تلفن و سایر انواع رسانه ها ، کامپیوتر های ویژه و وسایل سوئیچ کننده است . اینترنت به جای انتقال مکالمات صوتی نقطه به نقطه ، برای انتقال داده های دیجیتالی کامپیوتری بکار می رود . بخشهایی از یک پیام پست الکترونیکی می تواند از طریق کامپیوترها وخطوط متعلق به دهها فرد یا شرکت عبور کند . از همین روست که گفته می شود اینترنت متعلق به هیچ کس نیست . در حقیقت، اینترنت متعلق به بسیاری از افراد ناشناس است که همگی مالک تکه هایی از آن هستند .

بنیانی که باعث شده است سیستم اینترنت کار کند ، علت اینکه بسیاری از کامپیوترهای آن می توانند با یکدیگر صحبت کنند . آن است که همگی یک زبان را می دانند . از لحاظ داخلی کامپیوتر های مختلف از سیستم عاملهای مختلفی بهره می گیرند و پردازنده هایشان نیز متفاوت است از لحاظ خارجی ، همگی آنها می توانند آنچه را که به tep/ ip مشهور است ترجمه کنند این استاندارد ارتباطاتی به هر کامپیوتر متصل به اینترنت امکان می دهد که داده ها را با هر کامپیوتر دیگری مبادله کنند یعنی نوعی زبان اسپرانتوی دیجیتال است شاید بهترین زبان یا قشنگترین زبان ممکن نباشد اما استانداردی است که اکثر کامپیوترها میتوانند آن را بکار بگیرند واز نرم افزار مناسب ان یاری بطلبند.