２０１０年３月 广西师范学院学报：自然科学版 Ｊｏｕｒｎａｌ ｏｆ Ｇｕａｎｇｘｉ Ｔｅａｃｈｅｒｓ Ｅｄｕｃａｔｉｏｎ Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ） Ｍａｒ．２０１０ Ｖｏ１．２７ Ｎｏ．ｉ 第２７卷第１期 文章编号：１００２—８７４３（２０１０）０１—００５３—０５ 基于色彩统计信息的图像语义检索模型的研究 杨立志，李文敬，裴国庆，张增银 （广西师范学院计算机与信息工程学院，广西南宁５３００２３） 摘要：探讨语义网图像搜索的一般模型及其算法，提出色彩统计信息的图像语义网检索模型和检索算法，利 用半监督学习方法来实现算法，并对算法进行分析．实验结果表明，在小样本情况下对色彩统计信息进行图像检 索，提高了检索的查准查全率． 关键词：语义网；色彩统计；半监督学习；图像检索 中图分类号：ＴＰ３１１．１３１ 文献标识码：Ａ 目前使用的万维网，实际上是一个存储、传输和共享文本、图象的媒介，计算机对文字、图象等信息 只起到存储、传输的作用，对其语义无法进行识别和理解．语义网（Ｓｅｍａｎｔｉｃ ｗｅｂ）是现有Ｗｅｂ的扩展， 它提供对数据的语义描述，使计算机能够“理解”Ｗｅｂ信息，实现计算机之间的智能交互，使Ｗｅｂ成为全 球化信息共享的智能服务平台．图像搜索在网络中的应用非常广泛，对语义网图像搜索的研究具有潜在 的应用价值．但是，目前基于内容和基于链接的ｗｅｂ的图像搜索方法，其查全率和查准率都不高，为此， 我们提出的基于色彩统计信息的图像语义网检索模型和检索算法，并在小样本的图像语义进行搜索实 验，获得了较高的查全查准率． 语义网的图像搜索方法 Ｗｅｂ的图像搜索方法可分为两大类，即基于内容的和基于链接的图像搜索方法． 基于内容的主要根据图像内容（如颜色、纹理等）为图像建立索引，而基于链接的ｗｅｂ图像搜索引 擎则主要根据页面间的超链接来标注图像…． １．１基于内容的ｗｅｂ图像搜索方法 从２０世纪９０年代以来，基于内容的图像检索（ＣＢＩＲ）得到了广泛的研究，各大研究机构和公司也 都相继推出自己的系统，典型的图像检索系统有：ＱＢＩＣ系统、Ｐｈｏｔｏｂｏｏｋ系统、ＶｉｓｕａｌＳＥＥＫ＆Ｗｅｂ ＳＥＥＫ系统、Ｎｅｔｒａ系统、Ｍａｒｓ系统、ＳＩＭＰＬｉｃｉｔｙ系统等． 相关研究人员提出来的最主流的算法是基于图像内容的底层特征：有颜色、纹理、形状等算法． Ｓｗａｉｎ首先提出了使用颜色直方图作为图像内容的索引特征 ］，ｓｔｒｉｃｋｅｒ等彩用了颜色值的另外３ 个统计量，即其前三阶矩来表征图像的内容 ］．Ｗａｎ等使用八叉树将图像的像素依据颜色值在颜色空 间中进行层次聚类 ． 但是以上算法还不能满足基于图像语义的智能检索需求，这也是计算机视觉、模式识别领域的一个 难点． １．２基于链接的图像搜索算法 图像链接的外部资源主要有图像周围的文字、图像相关度、图像的替换文本（ａｌｔｅｒｍａｔｅ ｔｅｘｔ）、图像 收稿日期：２０１０—０１—０５ 通讯作者：李文敬（１９６４一 ），男（壮族），广西邕宁人，教授，硕士生导师，主要研究并行计算与Ｐｅｔｒｉ网技术 ‘５４‘ 广西师范学院学报：自然科学版 第２７卷 的ＵＲＬ．相关研究人员提出来最有名的就是按关键字搜索算法，虽然可以进行大规模图像搜索，但是缺 点是主观性不准确，精度不准． １．３问题的提出 由于基于链接需要大量的人工语义标注，费时费力，而且具有主观性和不精确性．基于内容的ｗｅｂ 图像搜索引擎只是针对图片进行最低层特征的搜索，没有跨过“语义鸿沟”，使底层特征上升至高层语 义． 当前互联网的图像检索，具有代表性的是百度和ｇｏｏｇｌｅ，但是他们主要还是以图像关健字进行检 索，而基于色彩统计信息的图像语义检索使用户查询不再是简单的关键词检索，而是具有图像语义的推 理和匹配，使检索能力更接近人的理解水平． ２基于色彩统计信息的图像语义网检索模型 ２．１ 色彩统计信息的图像搜索基础理论 色彩统计与其他特征相比，对图像本身的尺寸、方向和视角的依赖性较小，色彩信息提取也相对容 易． Ｌｅｕｎｇ ａｎｄ Ｍａｌｉｋ及Ｓｃｈｍｉｄ的研究工作展现了Ｆｉｌｔｅｒ ｂａｎｋｓ对图像分类的优越表现，此后大量的研 究工作都开始利用基于Ｆｉｌｔｅｒ ｂａｎｋｓ的特征抽取方式来进行ｌ２ ；Ｍａｎｉｋ Ｖａｒｍａ详细论述了针对图像纹理 的聚类与分类模型，并研究了不同的滤波器组对特征提取及纹理识别的结果的影响 ］，而Ｇａｕｓｓｉｏｎ滤 波器、ＬｏＧ滤波器以及Ｇａｂｏｒ滤波器则是诸多实验中被认为最有效的滤波器组合． 颜色直方图特别适于描述那些难以进行自动分割的图像．对于给定的图像，［．ｚ， ］，它的颜色直方 图可以由下式给出：其中， ，Ｙ分别为图像的宽度和高度． ｃ ｍ ＝羹薹 创建直方图部分ｃｐｐ代码如下： 列 ｉｍａｇｅ＝ｉｍａｇｅ ａ丌［ｊ］； ｈｓｖ＝ｃｖＣｒｅａｔｅｌｍａｇｅ（ｃｖＧｅｔＳｉｚｅ（ｉｍａｇｅ），８，３）； ｈｕｅ＝ｃｖＣｒｅａｔｅｌｍａｇｅ（ｃｖＧｅｔＳｉｚｅ（ｉｍａｇｅ），８，１）； ｍａｓｋ＝ｃｖＣｒｅａｔｅｌｍａｇｅ（ｃｖＧｅｔＳｉｚｅ（ｉｍａｇｅ），８，１）； ｃｖＺｅｒｏ（ｍａｓｋ）； ｈｉｓｔ：ｃｖＣｒｅａｔｅＨｉｓｔ（１，＆ｈｄｉｍｓ，ＣＶ—ＨＩＳＴ－ＡＲＲＡＹ，＆ｈｒａｎｇｅｓ，１） 代码运行结果如图１所示． 基于色彩统计信息的图像语义检索的思路是： 利用小样本集训练，引导计算机模仿人类的视觉 感知系统，进行语义理解，从而减少计算机的盲目性， 更加准确地对图像进行分类识别． ２．２ 色彩统计信息的图像语义网检索模型 根据色彩统计信息的图像搜索理论及其思路，提 出了如图２的层次化图像语义网检索模型． 首先进行特征语义识别，提出特定的颜色，再次进行对 象语义判断，例如一张图像中的马、天空、草等，最后进行匹配语义，进行手动标注语义信息 图１ 颜色直方图显示 第１期 杨立志，等：基于色彩统计信息的图像语义检索模型的研究 ・５５・ ２．３ 图像语义网检索模型实现 实现方法：主动学习选择最具代表性的样本进行标注和半监督学习 ２．３．１半监督学习的实现方法 对某些语义概念，训练集数量较少，可以考虑采用半监督学习方法，使分类器 在训练集较少的情况下仍能取得较理想的效果． 语义图像标注算法，标记语言是用来形式化地描述Ｗｅｂ文档中所使用术语 的意义的标记语言，它的目的是要提供一个关于文档的语义形式和语义内容的互 操作标准，比如ＤＡＭＬ，ＯＩＬ，ＳＨＯＥ和ＯＷＬ． 语义图像标注的目的就是给定一个图像 ，从语义词汇表Ｌ中抽取关键字集 训来最好地描述图像Ｊ．学习的过程是在训练集；＝｛＝｛（，。，叫。），…，（ＩＤ，ｗＤ）｝这 样的图像一关键字对上进行的ｌ４ Ｊ． ２．３．２支持向量机训练算法 图２层次化图像语义 支持向量机（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，简称Ｓ、 ）［５ 是应用统计学习理论开 网检索模型 发的新型通用学习方法，它应用最大间隔算法来近似实现对于结构风险最小化原 理的几何解释，使得统计学习理论有了可以直接付诸实际应用的直观算法． ＳＶＭ是从对于线性两分类问题的最优分类面研究发展而来的学习机器．给定ｎ个独立、同分布、线 性可分的训练样本：（ ，Ｙ１），（ｚ：，Ｙ２），…，（ ，Ｙ ），置∈Ｒｄ（ｄ为输入空间维数），Ｙ ∈｛－ｌ，＋１｝（指 示两类样本），ＳＶＭ的训练目标就是找到一个最优超平面：Ｗ・ｚ＋ｂ＝０，将两类样本完全分开． 它根据有限的样本信息在模型的复杂性（即对训练样本的学习精度和学习能力之间寻求最佳折衷， 以获得最好的推广能力，它具有理论完备、适应性强、全局优化、训练时间短和泛化性能好等特点，因此 有广泛应用． 对分类流程简要描述 训练：训练集——叫寺征选取——＋训练——＋分类器 ． 分类：新样本——＋特征选取——＋分类—— 判决 ２．３．３相关反馈技术 采用相关反馈ＣＯ—ｔｒａｉｎｉｎｇ，设计了一个自动反馈策略模拟检索过程．对于每一个提交的查询，检索 图像元数据库并对其进行排序．从图像元数据库中选择１０张图片给用户进行标注，然后用户标注的的 信息又反馈给系统进行重新排序．注意，已经选择过的图像不会在后面的选择中出现．对于每个查询，自 动相关性反馈机制执行５次． 相关度反馈技术对于图像检索是至关重要的，使用者提供的反馈越多，算法的检索性能越高 ］． 本文结合语义图像标注算法，ｓｖｎｌ及相关反馈等技术，提出一种改进的图像小样本匹配算法一ｐｓ （ｐｉｃｔｕｒｅ ｓｅａｒｃｈ），称为色彩统计信息图像语义检索算法． ｐｓ算法的大致流程为： （１）提取出原始图像中有意义的部分，这将有助于提高语义信息提取的准确度及速度，提取时采取 一般的色彩直方图分割法． （２）进行区域内颜色对象的分割和语义识别，即首先利用分块色彩图像来提取颜色各组成部分， 同时进行识别． 这个算法对于提高查准查全率都有了一定的提升，解决了自动识别问题． 具体的步骤： （１）提取待检索图像Ｘ的颜色图像特征，利用ｐｓ算法，提取其语义分类特征描述，将其对应于每个 语义层级Ｐ￡（ ，ｍ）提取出的语义分类特征集合记为 Ｑ ＝｛（Ｃｌ， １），…，（Ｃ ，Ｗｆ），…，｝ （２）将通过滤波器组的滤波响应用Ｋ—Ｍｅａｎｓ聚类算法做聚类，从而降低特征向量的维数，并构造 一个初始的字典． ・５６・ 广西师范学院学报：自然科学版 第２７卷 （３）利用标注过的图像来训练出供参考的对象模型．Ｔｒａｉｎｉｎｇ（ｉｍａｇｅ—ａｌＴ，ｍａｓｋ—ａｒｒ，１），训练一对 样本． （４）识别ＨＳＶ（ｈｕｅ，ｓａｔｕｒａｔｉｏｎ，ｖａｌｕｅ）表示色相、饱和度和亮度． （５）算法结束． 算法流程图如图３所示． 此算法将识别图片中的主体作为最主要的搜索因素，比 原有的单一算法，更加符合人的理解水平．比如当用户搜索 沙滩时，将检索图片库中最类似于沙滩档案照片的图片，而 不是文件名叫沙难的图片．以查找描述语为“在海边的穿蓝 提取图像颜色特征 衣服的男人”这张图为例，描述这张图的信息可根据具有标 识意义的关键词（如海边、蓝色、衣服、男人等）作为提取元数 据的依据． 用ＰＳ算法提取语义分类特征 ３实验与分析 得到语义分类特征合集Ｑｔ 利用ＶＣ＋－ｔ－６．０在Ｐｉｃａｓａ上采集了２０多张以自然景 色为内容的图片，并手工标注其中的对象标签，以不同的颜 用Ｋ．Ｍｅａｎｓ聚类算法构造宁典 色表示不同的对象，进行语义识别，其中的色彩及对象的对 应关系是： 训练山供参考的对象模型 ｛ 深绿色表示树木， 深蓝色表示天空， 只，别ＨＳＶ 浅蓝色表示海水， 浅绿色表示草地， 结束 淡黄色表示沙漠， 暗灰色表示路面， 图３ 色彩统计信息图像语义检索算法流程图 枣褐色表示马匹， 黑色表示无关区域． ｝． 基于标注的图片和原始图片对训练出一系列以直方图表示的ｍｏｄｅｌ，并保存为１．ｂＳⅥⅥ可用的文 件，提供一个基于ＯｐｅｎＣＶ的简单的交互界面，通过鼠标选定某一块区域，使用ＳＶＭ分类器，来对该区 域进行理解识别． 部分实验用代码如下： ｃｖＳｃａｌａｒ（１５，１１５，１５，０），ｅｖＳｃａｌａｒ（２５，１２５，２５，０），／／ｔｒｅｅ ｃｖＳｃａｌａｒ（２１５，１１５，４５，０），ｃｖＳｃａｌａｒ（２２５，１２５，５５，０），／／ｓｋｙ ｃｖＳｃａｌａｒ（２３５，１９５，１５５，０），ｃｖＳｃａｌａｒ（２４５，２０５，１６５，０），／ｓｅａ ｃｖＳｃａｌａｒ（１１５，２１５，２４５，０），ｃｖＳｃａｌａｒ（１２５，２２５，２５５，０），／／ｓａｎｄ ｃｖＳｃａｌａｒ（６５，２３５，１４５，０），ｃｖＳｃａｌａｒ（７５，２４５，１５５，０），／／ｇｒａｓｓ ｃｖＳｃａｌａｒ（１１５，１１５，１１５，０），ｅｖＳｃａｌａｒ（１２５，１２５，１２５，０），／ｒｏａｄ ｃｖＳｃａｌａｒ（２５，６５，１５５，０），ｃｖＳｃａｌａｒ（３５，７５，１６５，０）／ｈｏｒｓｅ 代码运行结果如下图４所示． 系统可以做到较高的识别率，通过将图像划分为很多子窗口，并遍历图像的的子窗口可以做到对图 像内容的自动识别而不需要人工干预． 最后进行基于单一颜色特征与基于色彩统计信息图像语义特征进行检索比较． 在进行图像桧索性能评价时，选取检索查准率与检索查全率曲线为评价指标，如图５所示． 第１期 杨立志，等：基于色彩统计信息的图像语义检索模型的研究 ・５７・ ０ ｉ ０ ２ ０．３ ０．４ ０ ５ ０．６ ０．Ｔ ０ ８ ０．９ １ 查全率 图４自动识别ＨＳＶ例图 图５查全率一查准率图 ４结语 基于色彩统计信息的图像语义检索对于图像检索准确性有了更进一步的提高，杏一准率 但是对图像进行有效 的语义描述等还有待进一步的研究解决，影响这个研究结果的重要因素是有没有海量的，语义标记的图像 ∞０ ∞０ 卜０ ｏ ｍ ０ ０ 库，关键内容是如何进行自动的图像语义标记，比如针对这个图像自动分析其颜色、纹理甚至内容识别等 特征等，要实现全自动的语义标注还是很困难的．尽管有很多的标注工具，类似Ｋ［Ｍ这样的．现在还是需 要大量手工标注的数据，而且难点在于机器学习的研究没有进展，尤其在半监督学习领域，在只有少量的 标注样例的情况下的全自动标注，如何对图像进行有效的语义描述将会成为今后研究的重点和方向． 参考文献： ［１］黄素珍，陈宁江，苏德富．并发多元搜索引擎的研究与应用［Ｊ］．广西大学学报：自然科学版，２００５，３０（２）：１６４—１６８． ［２］赵继东，鲁珂，吴跃．一种基于谱图理论的Ｗｅｂ图像搜索方法［Ｊ］．计算机应用研究，２００８（５）：１２—１３． ［３］周明全，耿国华，韦娜．基于内容图像检索技术［Ｍ］．北京：清华大学出版社，２００７：３５—３６． 【４ Ｊ ＭＡＮＩＫ ＶＡＲＭＡ，ＡＮＤＲＥＷ ＺＩＳＳＥＲＭＡＮ．Ａ Ｓｔａｔｉｓｔｉｃａｌ Ａｐｐｒｏａｃｈ ｔｏ Ｔｅｘｔｕｒｅ Ｃｌａｓｓｉｃａｔｉｏｎ ｆｒｏｍ Ｓｉｎｇｌｅ Ｉｍａｇｅｓ［Ｊ］．ＩＪＣＶ （６２），２００５（１－２）：６１—８１． ［５］朱文球，刘强．一种新的图像语义自动标注与检索算法［Ｊ］．计算机应用研究，２００７，２４（７）：３１８—３１９． ［６］黄发良，钟智．用于分类的支持向量机［Ｊ］．广西师范学院学报：自然科学版，２００４，２１（３）：７５—７６． ［７］ＶＡＰＮＩＫ ＶＬＡＤＩＭＩＲ Ｎ．Ｔｈｅ Ｎａｔｕｒｅ ｏｆ Ｓｔａｔｉｓｔｉｃａｌ Ｌｅａｒｎｉｎｇ Ｔｈｅｏｒｙ［Ｍ］．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ，１９９５：１５６４—１５６４． ［８］Ｘ ＨＥ，Ｗ ＭＩＮ，Ｄ ＣＡＩ，Ｋ ＺＨＯＵ．Ｌａｐｌａｃｉａｎ Ｏｐｔｉｍａｌ Ｄｅｓｉｇｎ ｆｏｒ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ［Ｊ］．ＳＩＧＩＲ’０７，２００７：１１９—１２６． Ｒｅｓｅａｒｃｈ ｏｎ Ｉｍａｇｅ Ｓｅｍａｎｔｉｃ Ｓｅａｒｃｈ Ｍｏｄｅｌ Ｂａｓｅｄ ｏｎ Ｃｏｌｏｒ Ｓｔａｔｉｓｔｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ ＹＡＮＧ Ｌｉ—ｚｈｉ，ＬＩ Ｗｅｎ－ｊ ｉｎｇ，ＰＥＩ Ｇｕｏ－ｑｉｎｇ，ＺＨＡＮＧ Ｚｅｎｇ—ｙｉｎ （Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｇｕａｎｇｘｉ Ｔｅａｃｈｅｒｓ Ｅｄｕｃａｔｉｏｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｎａｎｎｉｎｇ ５３００２３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｉｓ ａｒｔｉｃｌｅ ｄｅｓｃｒｉｂｅｓ ｔｈｅ Ｓｅｍａｎｔｉｃ Ｗｅｂ ｉｍａｇｅ ｓｅａｒｃｈ ｏｆ ｔｈｅ ｇｅｎｅｒａｌ ｍｏｄｅｌ ａｎｄ ｉｔｓ ａｌｇｏ ｒｉｔｈｍ，ｃｏｌｏｒ ｉｍａｇｅｓ ｏｆ ｔｈｅ Ｓｅｍａｎｔｉｃ Ｗｅｂ ｓｔａｔｉｓｔｉｃａ１ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｔｒｉｅｖａｌ ｍｏｄｅｌｓ ａｎｄ ｒｅｔｒｉｅｖａｌ ａｌｇｏｒｉｔｈｍｓ， ｕｓｉｎｇ ｓｅｍｉ—ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ｔｏ ａｃｈｉｅｖｅ ｔｈｅ ａｌｇｏｒｉｔｈｍ ｏｆ ｗｈｉｃｈ ａｎ ａｎａｌｙｓｉｓ ｗａｓ ｍａｄｅ．Ｔｈｅ ｅｘｐｅｒｉ— ｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｉｎ ｓｍａｌｌ ｓａｍｐｌｅ ｃａｓｅｓ，ｔｈｅ ｒｅｔｒｉｅｖｅｄ ｓｔａｔｉｓｔｉｃａｌ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｃｏｌｏｒ ｉｍａｇｅ ｉｍｐｒｏｖｅｄ ｔｈｅ ｒｅｔｒｉｅｖａｌ ｐｒｅｃｉｓｉｏｎ ｒｅｃａｌｌ ｒａｔｅ． Ｋｅｙ ｗｏｒｄｓ：Ｓｅｍａｎｔｉｃ Ｗｅｂ；ｃｏｌｏｒ Ｓｔａｔｉｓｔｉｃｓ；ｓｅｍｉ—ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ；ｉｍａｇｅ ｓｅａｒｃｈ ［责任编辑：黄天放］
