晚上在线上乱转,看声讨Live Spaces的帖子,结果却发现了这么一个好东西。叫PhotoSynth。
PhotoSynth是微软的Live Labs目前还在研究的一东东,简单的来说就是一个放东西的相册,但神奇的是如果你点击开一张照片,它就能把其他与当前图片相类似的照片找出来。于是你就能看到还有什么其他人来过这个景点,拍过类似的照片。而更神奇的还在后面。
设想如果你在某一个旅游热点,然后其他人也曾经在此拍了很多照片,PhotoSynth就会将这些所有的照片按照空间顺序在三维空间内展现。你就可以身临其境地左看右看,仰观宇宙,俯查品类。不但可以将一些建筑物的三维构成还原,还能将看到你照片里所缺少的细节,比如墙上的某张壁画。你甚至可以一路这样游览下去,逛遍整个城市。Synth其实就是合成(synthesis)的意思,顾名思义,PhotoSynth就是将二维照片合成为三维场景的网络相册服务。
附一张演示图片:
听起来很梦幻,也很有趣。其实说回来就是图像处理中三个方面的简单应用:CBIR,Registration和Lightfield construction。
CBIR是Content-Based Image Retrieval缩写,简单说就是给一张图片,你得给我找出差不多类似的其他图片,就比如说我这里有张杯子的图片,然后CBIR系统就得把图片库里所有包含类似杯子的图片都找出来。在这里的功能就是要把某景点的所有照片都汇总。
之后Image Registration要做的,就是两张非常相似的照片,我要找到他们共同的相似点,然后将两张图片按照找到的共同点拼接起来。这样本来平面的照片就有了空间的概念。
Lightfield其实大家已经见多了,说白了就是《黑客帝国》里那人一跳起来,定格在空中摄像角度转个180度的镜头,内就叫lightfield。也就是物体通过二维照片还原出来的三维实体。其实这里的lightfield应用很简单,只是通过registration步骤中算出来的空间变换数据画出点云,然后一张张将照片贴上就好了。其实按照理论来讲,如果两张照片有50%的吻合,就能够算出照片内容的几何关系,所以如果你从两个角度拍同一个物体,lightfield最终可以算出这两个角度之间那个物体的样子。所以如果计算能力足够,100张照片能给出的观察角度要不止1000个。
看下lightfield的点云:
技术方面其实不难,上述所说的概念其实在各个实验室里被研究的时间已经差不多有十年或更多了。这年头个个都喊着要把技术转换成经济,最后缺乏的往往就是如同PhotoSynth一样巧妙的应用。概念简单,实现其实也不复杂,等到这个技术最后被放上
Windows Live,或者被整合入了
Live Spaces,想必是非常吸引人的一个服务。其实国内也有类似途牛[
http://www.tuniu.com ]这类的网站,可以将某个地点的旅游照片和文字汇总,但说回来了其实就是一个稍稍有针对性的一个flickr相册服务。技术上缺乏突破性的东西,最后很难被玩太久。
对于PhotoSynth,我的感觉就是最后对相似照片的选择,可能不能完全依赖CBIR系统的结果,设想万一有一张类似照片选错,可能就会让更多与错照片相似的其他照片被引入,导致最后的场景牛头马嘴。个人的看法是最后可能会和
途牛一样,需要用户在上传照片时候提供一个地点分类。甚至和
Google Map [
http://map.google.com ]那样,照片最后会被放到一个
经纬点上,这样简直就是一个更加强大的世界地图,不但可以从上鸟瞰,而且可以跳到地面上的任何一个场景,如同逛大街一样游走。甚至,如果照片上再有一个
时间的属性,那么看某一个地点的历史变迁过程都不是难事。
当然,前提就是要有充足的照片。不过在几乎人手一台数码相机的今天,要足不出户看天下肯定不是什么难事。PhotoSynth已经在8月2号于2006 SIGGRAPH年会上展出。预计很快就能面世。
附上PhotoSynth两个视频演示的链接:
Microsoft Live Labs和PhotoSynth均为微软商标,插图来源于photosynth官方主页
最新评论