因为目前搜索引擎无法完全解读网页内容，所以网页设计时需要以搜索蜘蛛容易索引方式制作。对搜索引擎来说，它们看到的网页跟我们并不相同。在这章节中，我们将把重点集中在网站的技术层面上，这样的网站架构，在搜索引擎与用户的眼中才会相似。可以把这个章节分享给程式设计师，前端工程师，和网页设计师，让所有参与网站制作的人都有相同知识。
要制作能被索引的内容
为了在搜索引擎列表有更好的表现，重要的内容请使用HTML格式。就算搜索引擎蜘蛛抓取的技术越来越进步，Flash，Java，以及其它非文字的内容通常还是会被蜘蛛忽视或认为不重要。若想让内容如实呈现给访客，最简单的方式就是使用HTML文字给搜索引擎抓取。但是，更棒的方式是呈现给搜索引擎的同时又保有视觉设计的网站。
以下为几种方式：
1.图片用Alt属性。指派gif，jpeg或png格式的图片”alt attributes” in HTM为了便于搜索引擎解读，在这些图片加上一些文字叙述。
2.做网站内导航性质的搜索框与内部链接。
3.为Flash与Jave Plug-ins增加文字叙述版本。
4.提供视频与音频的文字複本，以便于这些说明文字被搜索引擎索引。
「我的网页无法被收录。我为了Juggling Pandas做了一个Flash，但却无法在Google找到它。发生什么事了？」
用搜索引擎的方式检视您的网站
很多网站在「内容索引」有著很大的问题，所以网页设计制作完成之后重複检查是必需的。通过检视工具，例如：Google’s cache（页库存档）, SEO-browser.com, and the MozBar，您可以检阅您的网页内容哪些可以被搜索引擎读取与索引。看看您目前开启的网页在Google是如何显示的吧？看看相同的网页在搜索引擎与在您眼中有何不同。
以下Moz用Juggling Pandas做例子：
哇！这就是我们的样子吗？
使用Google catch的功能，我们可以发现Google所看到的 JugglingPandas.com首页并没有我们来的丰富，而这是因为网站的一些构造无法被搜索引擎解读。
以下Moz用Axe Battling Monkey Blog做例子：
嘿！有趣的小游戏跑那儿去了？
呜嗯……透过Google catch，我们可以发现右上方显示的网站真是空白的可怕。没有文字说明，也看不到小游戏。网页设计时，这个网站全部是用Flash建造，但很可惜的，这也意味著搜索引擎无法索引到任何文字，更别说Flash小游戏。没有使用HTML，这个网站在搜索引擎上的排名可是会非常难看。
最明智的做法是除了检查文字内容，同时也使用SEO工具仔细检查网站在搜索引擎的显示内容。不只是图片，下面即将叙述的「链接」也适用这样的做法。
要有能被抓取的链接构造
正如搜索引擎需要抓取关键字来分类网站内容，网页也需要有正确的链接让搜索引擎可以第一时间的抓到它们，所以拥有一个能够被搜索引擎蜘蛛爬行抓取的正确链接构造非常重要。但也有许多网站会犯这致命性的错误，把链接建立在蜘蛛无法进入的地方，而这也使得网页无法被索引，隐藏在网络世界中。
以下，我们用图片来示意发生这问题的原因：
在上面的图片，Google蜘蛛已经爬到了页面A且看到了通往页面B与E的链接。但是因为不正确的链接构造，就算页面C与D很可能是这个网站裡最重要的页面，蜘蛛还是无法爬向页面C或D（或著是说，蜘蛛有可能根本不知道有页面C和D的存在）。若Google蜘蛛找不到，这也代表著页面C与D并不存在，就算有再好的内文，关键字选的再精准，网页设计在美观，和再聪明的行销手法，只要蜘蛛无法爬行到，一切都是白搭。
来解剖链接架构吧！
网页上所有可供点击，让访客从一个网页移动到另一个网页，呈现的形式包含图片，文字，或是其他物件，就是所谓的链接。而链接是网际网络中最基本的元素，网页设计上最常听到的词就是「超链接」。在上图中， “＜a” 代表著链接的开始，而这链接会告诉浏览器（以及搜索引擎）这个链接要去哪。在这个例子，这个链接要去http://www.jonwye.com。在这之后，访客可以看到的文字在SEO搜索引擎最佳化的世界中称做锚点文字，用来介绍链接的目的地。以这个网站为例，网站的目的地是Jon Wye的客制化皮带，所以在锚点文字显示「Jon Wye’s Custom Designed Belts」，最后的“＜/a＞”则是链接的结尾，用来防止页面上的其他语法与之相链接而产生错误。
以上是一个链接的最基本形式，且这是搜索引擎完全可以理解的方式。搜索蜘蛛会知道它们须把链接放入资料库，且用它来计算网页的搜索独立（Query-Independent）的变量（类似Google的PageRank），并根据结果分类索引。
搜索独立（Query-Independent）搜索蜘蛛在索引后进而分类一个新网页前，会先以网站内的关键字与网页链接预估网站的重要性与价值，与用户的搜索习惯是不一样的。
来看一下网页无法被读取的常见原因吧！
- 网页使用线上提交表格
若您的网站最初设计时是需要访客完成线上表格登入后才能够进入，那搜索引擎可能就无法看到那些被保护的内容。表格的形式有可能是密码保护的登入页或是问卷调查。不管是那种形式，搜索蜘蛛一般不会尝试去提交表格，所以任何经由表格登入才能够进入的页面，蜘蛛都不会去抓取。
- 使用无法剖析的JaveScrip链接
若是您使用JaveScrip形式的链接，您会发现搜索引擎要嘛不抓取，要嘛就是给崁入的链接很低很少的权重。若您想让蜘蛛抓取，请用标准的HTML链接替代（或著用HTML搭配）。
- 链接指向被Meta Robots tag或是robots. txt封锁的页面
Meta Robots tag或是robots. txt两个都是网站管理员设定禁止搜索蜘蛛进入特定网页的程式。但是要小心，虽然许多的网站管理员企图为了防止垃圾蜘蛛进入而使用这两个指令，但若使用不当可能整个网站都无法让蜘蛛进入。
- 网页使用Frames或iframes
网页设计技术上来说，Frames与iframes形式的链接是能被搜索引擎抓取的，但两者对于搜索引擎来说都存在著对其组织与追踪的结构性问题。除非您知道搜索引擎如何索引与追踪Frames所链接的网站内容的专业人士，不然还是别用的好。
- 蜘蛛不使用搜索框
虽然这跟上述警告的线上表单相关，但这太普遍了必须另外提出来。有一些网站管理员以为在网站内放一个搜索框，搜索蜘蛛就会找到访客搜索的内容。但很可惜的，蜘蛛不会使用搜索框找访客搜索的关键字，只要没做好网站链接，这样的页面就永远都被隐藏，不被抓取。
- 使用Flash，Java，以及其它的plug-in
上面的例子中，在Juggling Panda网站内崁的链接就是最好的例子。虽然每隻熊猫都是通往另个网页的链接，但因为蜘蛛无法利用这类型的链接格式通往其它页面，使的这些页面对搜索引擎来说是隐形的。
- 网页拥有过多链接
搜索引擎在网页上只会抓取固定数量的链接。这个限制是为了防止垃圾链接与保护排名的正确性。若网页上有过多的链接，就有「不是所有链接都会被抓取与索引」的风险。
只要你避免掉入这些陷阱，您就有个乾淨，能被索引的HTML链接让蜘蛛能够简单进入的网站。
Rel=”nofollow”
Rel=”nofollow”可以用下面的语法：
＜a href=”http://moz.com” rel=”nofollow”＞ Lousy Punks! ＜/a＞
链接可以有很多属性，搜索引擎几乎全都忽视了，除了rel=”nofollow”属性。在上面的例子，加上rel=”nofollow”在链接内，代表著告诉搜索引擎这个网站拥有不值得信任的内容，让搜索引擎不要继续往下检索，避免网页权重被扣分。
Nofollow，按字面上来看，是下达指令让搜索引擎不要跟踪这个链接（虽然有些还是会去跟踪）。Nofollow属性一开始是为了帮助停止部落格，留言版的垃圾自动回覆和链接，但演变到了现在，变成了告诉搜索引擎降低这个链接原本的价值。每个搜索引擎对Nofollow的链接判别都有些微不同，但很显然的Nofollow的链接不会比一般的链接拥有更多权重。
难道nofollow的链接不好吗？
虽然Nofollow的链接与Follow链接相比较下并没有什么价值，但它仍是一种可以配置多样链接的普遍方式。一个拥有很多对内链接的网站通常也有很多的Nofollow链接，而这也并不是一件坏事。实际上，Moz的排名因素分析显示，与排名较低的网站相比，拥有较多Nofollow对内链接的网站通常往往拥有较高的排名。
Google声明在大多数的情况下，他们不会跟踪Nofollow的链接，这些链接也不会被传递PageRank或锚点文字的价值。实际上，使用Nofollow链接促使Google把目标链接放在整体网页范围外。Nofollow的链接没有任何权重，只被当作是HTML文字（也就是说链接不存在）。儘管如此，许多网站管理人认为就算是从具有权威性的网站来的Nofollow链接，例如维基百科，仍然也是可提高自身网站信任度的。
Bing & Yahoo!
Bing, 提供Yahoo搜索引擎技术，也曾声明它们的搜索引擎蜘蛛会抓取网站内的Nofollow链接，但并不会包含其价值，也相对的对网站排名没有任何效果。
关键字的使用和目标锁定
关键字对搜索的过程十分重要，它是建构搜索过程的基石与语言。实际上，关键字是整个资讯检索科学（包括网络搜索引擎，例如：Google）的根基。当搜索引擎抓取网页时，搜索引擎会依据网页内的文字内容（关键字）做分类，而不是把内容全放在同一个含有25亿网页的资料库。所以搜索引擎有数亿万个小资料库，而每个小资料库都是特定的关键字或词， 可以让搜索引擎在最快的速度进行检索。
显然的，假如您想让您的网页能在「狗」这个关键字的搜索结果排名出现，最好确保「狗」这个关键字在您的网页是容易被搜索引擎抓取的关键字。
关键字的控制权（支配，主宰，控制，优势）
关键字支配著我们怎么传达自己的搜索需求，以及如何与搜索引擎互动。当我们输入查询的文字（词），搜索引擎会依据我们输入的文字进行相关的网页媒合，而文字的排列顺序（”pandas juggling” vs. “juggling pandas”），拼音，标点符号，以及大小写也会提供额外的讯息让搜索引擎检视并排列最符合的结果。
搜索引擎会衡量关键字在网页上呈现的方式来帮助判定这个网页的内容是否符合用户的查询。优化网页排名的最好方式之一是确保网页标题内有关键字，内文的关键字以文字的方式呈现，以及在metadata内包含关键字。
一般来说，只要您的关键字越明确具体，您越可缩小搜索引擎的排名竞争，更可以提升更高排名的机会。上面的地图是广泛的字「书」，以及精准的词「双城记」的比较示意图。您会发现，被查询的文字越广泛，得到的结果很多；文字越精准，得到的结果相对的就越精，但同时，也越少网站与您竞争。
关键字的滥用
从开始有了网络搜索，为了操纵搜索引擎的排名，有些人不断用错误的方式滥用关键字，而这包含把关键字「堆积」在内文，网址，Meta 标签，和链接。不幸的是，这些方式都不会让您的网站更好，只会更糟。
在早期，搜索引擎评断网站与关键字的相关性时，看的是网页内关键字的出现频率，而不是关键字的使用的合理性。直到今天，虽然搜索引擎仍然无法像人类一样的理解文字内容，但是智能学习已经让他们逐渐完美化。
最好的方式是自然并有组织（计画）的使用关键字。若您的网页关键字是「艾菲尔铁塔」，想当然的，内文就是关于艾菲尔铁塔，包含艾菲尔铁塔的历史，推荐的巴黎酒店。换句话说，假如您只是把「艾菲尔铁塔」放在文不对题的内文中，例如狗狗的养育，那您再怎么把努力想靠著「艾菲尔铁塔」拉高网页排名也是很有限的。我们的目的不是把文章内的所有关键字都提高排名，而是必须集中在某些用户会使用的关键字。
关键字密度的迷失
根据Edel Garcia博士在The Keyword Density of Non-Sense所述，关键字密度并不是现代排名演算法的一部分。
若有两个网页，D1与D2，D1包含1000文字（l=1000），其中关键字20次（tf=20），关键字密度软体分析出文件的关键字密度(KD)为20/1000 = 0.020 (or 2%)。同样的，D2包含500文字（l=500），其中关键字10次（tf=10），也会出现同样的密度结果。所以很显然的，关键字密度分析没办法解释哪个网页更具关联性，也无法跟我们说这些：
- 关键字之间的相对距离。（接近度）
- 语词的分布位置（分布度）
- 语词之间的共被引(这是专有名词: 意思是同时被引用)频率（同时被提及）
- 关键字与题材，主题，和副主题（主题内文一致）
总结来说，关键字密度与内容，质量，语意和关联性都没有关係。
网页优化
关键字的使用方式与目标锁定仍然是搜索引擎排名演算的一部分。我们可以利用一些有效的关键字使用技术来帮助网页优化。在Moz，我们做了很多测试并获得许多关于搜索结果与关键字使用策略的手段。在网站优化中，我们建议您这样使用关键字：
请不要在同个网站使用关键字做网页内部链接，也就是所谓的关键字竞食。
注:「关键字竞食」网站上的多个网页上有著定位一样的关键字，会导致搜索引擎难以判断哪个网页才是最相关的搜索查询重点，因而 SERP(搜索引擎结果页面) 不一定会以户想看到的网页与内容搜索首位。
一个网页的关键字优化是怎样的呢？这裡以「运动鞋」做例子：
至少在title 标签使用一次关键字。尽量让关键字越在title 标签的前面越好。关于title标签在本章节的后面会讨论。
关键字放在最明显的网页最上方。
在网页内文至少放上二或三次的关键字，包含文字变化型。若文章内容很长，可再放多一些。频繁的使用关键字您也许认为会有额外的收穫，但其实根据我们的经验，对网页排名基本没有益处。
在网页的图片上的alt属性至少使用一次关键字。这不仅仅是帮助网页搜索，也帮助图片搜索，偶尔也会带来流量。
在URL使用一次关键字。关于URL与关键字的使用规则在本章节的后面会讨论。
在meta description标签至少使用一次关键字。请注意meta description标签并不会帮助搜索引擎的排名，但因为搜索引擎会抓取其内容并揭露在搜索结果页面，所以它可以吸引点击率。
更多关于网页优化的内容请参考这篇文章。
