跨媒体技术在档案行业的应用及启发

    跨媒体指的是多维、高阶和海量的文本、语音、图像和视频等信息，这些信息蕴含着广泛而复杂的交叉关联性。跨媒体信息处理涉及有效的文本、语音、图像与视频数据挖掘、海量数据存储、搜索引擎、数据分析、跨媒体统一表示与建模、跨媒体信息挖掘及存取等众多技术问题。

    跨媒体检索是基于跨媒体信息，用户任意给定一种媒体查询如图片，系统自动检索出与查询主题相关的所有媒体内容。

    （1）与跨媒体相关的硬件技术。如输入输出多媒体数据的硬件设备、存储和传输多媒体数据的相关硬件设备配置等。

    （2）跨媒体内容检索技术。也就是本文主要介绍的在多种类媒体数据之间进行检索。

    （3）跨媒体数据的表达。如何更有效地表示跨媒体数据，方便计算机进行管理和检索，是跨媒体研究的重要课题。

    （4）跨媒体数据的推理。即如何让计算机根据已知的多媒体数据，推理产生新的相同类型或不同类型的多媒体数据，从而实现更有效的对多媒体数据进行组织。

    （5）跨媒体数据的存储、组织和应用。更有效地对跨媒体数据进行存储和组织，然后进一步利用好跨媒体数据，使其方便于人类的生产和生活，是跨媒体研究的重要内容。

    与跨媒体检索相对的，我们称作“多媒体检索”或“单媒体检索”，经过信息技术的发展，多媒体检索技术已经相当成熟了，而且跨媒体检索也在逐步发展和应用。那么二者有什么区别呢？

    1、跨媒体检索能够识别不同表现形式的媒体所表达出的同一种语义。例如搜索文本“卡塔尔世界杯决赛”，系统可以同步搜索出与该文本相关的图片、视频、音频等媒体信息。而多媒体检索只能实现同类媒体信息的查询，例如我们目前常见到的“以图搜图”、“人脸搜索”，以及常用的文本搜索等。

    2、传统的多媒体检索，缺乏对不同媒体信息之间的关联性理解、表示、分析和处理。而且多媒体检索是通过提取多媒体数据相应的视觉或听觉等表象特征，如颜色、纹理、位置、形状、声音等等，这种方式无法识别多媒体信息所包含的语义。需要进行多媒体融合与分析才能解决该问题。

    1、“内容鸿沟”：不同类别的媒体数据使用不同维度、不同属性的特征表示。而这些特征是没有可比性的，计算机无法根据特征来计算媒体之间的相关性和可比性。

    2、“语义鸿沟”：目前对多媒体信息的语义分析，主要是通过提取其特征信息，并将多媒体对象用底层特征构成的特征向量来表达，但这种技术手段也难以保证对多媒体信息的语义理解的准确性。

    1、档案检索：应用跨媒体技术，可以实现“文本、图像、视频、音频”等媒介的相互检索和关联检索。例如给定一段文本，应用NLP技术，对文本检索项和语音识别、视频解析内容进行语义、上下文分析，实现跨媒体的精准检索。

    2、档案编研：应用跨媒体检索技术，能够一次性将需要的不同媒体形式的主题素材检索出来，方便快速的挖掘编研素材，帮助档案工作者更好的进行相关主题的图文关联。

    3、知识应用：跨媒体检索由于其检索内容的全面、完整，能够帮助我们更快速、精准的挖掘相关主题的知识，构建知识图谱。