本篇文章1101字，读完约3分钟
最近，清华大学电子工程系教授林嘉文和孙敏宣布，他们已与微软亚洲研究院的梅涛博士合作，开发并使用计算机视觉技术对视频内容进行标记和命名。
据悉，梅涛博士参与了微软可可的研发。微软coco是一个全新的图像识别、分类和描述数据集，旨在识别多个对象。业界众所周知的是微软可可图像描述大赛，参赛者使用自行开发的图像识别系统和微软可可用文字描述指定的图像。根据系统描述的准确性和细节以及与人类描述的相似性来评估结果。
微软表示，台湾清华大学的两位教授在微软coco数据集的帮助下创建了一个系统，利用计算机视觉技术来确定视频中的主要内容，并为其添加标题。
微软在博文中指出:
孙教授基于深度学习自动发现视频中的特殊时刻或重要内容，并基于这些重要内容创建一种新的视频标题生成方法，以生成准确、有趣的视频标题。与此同时，林教授开发了一种能够自动检测视频中人脸的方法，并为分享这些视频的用户提供了更丰富的总结和相关建议。通过合作，他们的算法可以检测和描述重要的内容，同时生成标签和标题。
孙敏教授和他的学生们还通过参加视频文字挑战赛改进了系统。据新闻报道，他们将在欧洲计算机视觉会议(eccv)上展示最新的研究成果。
为了解释和描述视频/图片中的内容，我们不仅需要知道图片中的内容，还需要知道图片中的对象之间的关系。使用算法来识别视频内容并随后产生标题或标签相对来说更加困难且计算密集，而识别图片内容以产生标签或图片描述已经变得越来越成熟。
上个月，谷歌发布了最新的机器学习系统。通过识别图像中的内容并匹配相应的文本，该算法描述图像的准确率达到93.9%。
感谢可可，微软积累了一定数量的图片描述，其中相册分类功能在一个驱动器中被广泛使用。该功能允许用户有效地对照片进行分类和显示，还可以从图片中识别单词。当然，最重要的是它还可以识别和分析图像特征并自动标记它们。
除了微软和谷歌，facebook今年也发布了一个类似的系统，可以理解照片中发生的事情，并将内容转换成自然语言来描述。脸书上显示了一个人玩滑板的照片。该算法将照片内容分解成“一个滑板，一个人，一项独特的技能，他的滑板”，并认为可能发生的是“做，滑板，做。”用户可以使用vpn翻墙到iphone版本的facebook，也可以使用iphone的画外音功能读出写有描述的东西。
无论是图片描述还是视频描述，在消费者层面，它不仅可以帮助用户自动管理相册(视频收藏)。此外，这项技术可以帮助盲人用户通过语音来理解照片和视频中的内容。
相关阅读:
测试前:让盲人“看到”画面，我们离这项黑色技术有多远
谷歌发布了最新版本的人工智能系统，图像匹配的准确率高达93.9%
