基于 Cocos 游戏引擎的音视频研发探索

本文主要介绍了流利说团队基于 cocos 游戏引擎进行音视频相关需求开发过程中所遇到的问题和解决方案。文章中将依次阐述 cocos 引擎直接渲染视频的方案,继而引申出多线程环境下 OpenGL 环境的管理方法,最后说明音视频处理流水线模型需要解决的问题与我们的方案。 让 cocos 引擎直接渲染视频 为什么? 可能大家首先会疑惑,为什么要让 cocos 引擎来负责渲染视频呢?而不利用原生平台的渲染机制,如使用Android平台的SurfaceView或TextureView。 让我们来分析下利弊: 原生机制优势:1.常规播放器接口的直接支持。2.视频渲染性能稳定。 完整阅读

转场

生活就是一座座围城,与其说这句话是无奈与叹息,不如说是一种客观到惨淡的直白描述。从一座围城踏入另一座,期间的过程是如此的平滑,如同精妙的剪辑一般,不经意之间场景早已大不相同。尽管我像专业的演员一样快速的把握住了这截然不同的场景,服装,灯光与人物设定,并且熟练的背诵着台词,认真的按照预先安排的线路穿梭在摄像机之间,但我已经开始怀疑,眼神开始闪烁,内心不再坚定不移。 我看身边人们熟悉而又陌生的生活方式,意识到现在与过去的不同,不一定是源自于提升或者降低,仅仅是单纯的不同罢了。我无法在这种不同中找出未来的方向或者任何人生的意义。这种不同在我看来只是环境的不同而已,而人们最终会陷入其中不可自拔,此时的我刚刚切换环境依然格格不入。大概最终我也会在不知不觉中深陷其中吧。胶卷还在转动,肢体的表演还在继续。 完整阅读

上海印象

回顾 三天的上海行程结束。我本想写些什么,竟无从下笔。我坐在返程的飞机上,看着窗外逐渐消失在地平线上城市斑驳的灯光,回忆三天中的点点滴滴。真实的记忆像光圈虚化的光斑一样,融化为我对这个城市的模糊印象。 关于上海留给我的印象,没有让我惊讶,也没有让我失望的地方。一如我曾经认为的模样。不同的服饰,语言,人种,生活阶层的人们为更好地生活奔波与忙碌着,我感受到这座城市的包容与尊重。思南路,田子坊,武康路,外滩上各种风格的建筑总是淡妆浓抹的恰到好处,我感受到这座城市的风情万种。明清园林,民国洋楼,教堂, 完整阅读

深圳杂记

苍穹之上 不得不难为情的承认,这是我第一次坐飞机。正是因为未曾有机会亲身体验,飞机这个概念对我而言,不在于一张机票的价值,一场旅行开始或者结束,更是承载了许多微妙的情感。 未曾亲自体验之前。飞机俨然就是我心里的柏林墙,似乎隔绝着繁华与落寞。我总是愿意站在墙这头幻想着墙那头的无限风光,却安逸的不愿挪步攀登。但我相信在我生命旅途中的某个节点,命运的无形巨手定然会将我扔往那头,孑然一身开始新的征程。而之前我所能做的只是打点行囊而已。 很难形容真正意义上站在飞机面前五味杂陈的情感。斑驳的机身,轰鸣的发动机,不断颤抖的机翼,时不时的颤震。无一不在向我揭示飞机的本质不过是一个符合物理定律的脆弱的巨大机械而已。 当我搭乘飞机飞上雾霾顶端时,竟然在内心涌动出一阵感动。仿佛自己用一种特殊的方式避开了世俗。 完整阅读

你好哇,2019

挣扎的思绪 王小波说生活就是一个受锤的过程。比起受锤本身,更让人痛苦的在于,睁开眼我躺在流水线上,不远处机械挥动的锤子稀松平常,锈迹斑斑,却坚实巨大。身旁的人们安静平和,双目紧闭,偶尔颤抖着挣扎一下,但很快又重新接受可命运的安排,默然沿着传送带驶向欲望的终点。 我曾期待命运为自己受锤的时刻安排一场精致,隆重的受锤礼。在典礼上亲朋好友欢聚一堂,或悲伤的诉说依依不舍,或开心的相互拥吻。我站在礼堂的最高处双眼紧闭,回忆感受理想给我的全部荣光。槌起槌落,我告别了生命的一个阶段,踏上了新的阶梯。 然而没有人在乎我是否受锤,没有人在乎捶我的锤子是否别致、精美。 完整阅读

蜘蛛侠:平行宇宙——动画电影的开阔者

起初对于这样一部动画蜘蛛侠电影我是排斥的。在索尼漫威无数部风格各不相同的蜘蛛侠电影的轮番轰炸下,我对蜘蛛侠这个IP本身已经产生些许厌烦。但观影结束这部电影却极大的震撼了我,夸张点说,这部电影是动画电影在在无数部量变积累之后产生的质变,是融合了动画、电影、漫画、游戏等艺术形式的表现特点的大成之作,是一种新的动画电影艺术形式。 其实这部电影的优秀之处与蜘蛛侠这个IP本身关联并不大,即便换成蝙蝠侠也不会有太大的影响。固然电影故事节奏把控良好,对观众情感调度准确,没有过多的矫情,但电影故事内核并不新鲜,依旧是一个讲述了关成长,友情,亲情故事。动画梦工厂一部部成功的商业动画,证明了该类主题拥有广泛的受众群体,而且具备很强的可挖掘性。因此Sony选择超级英雄+成长作为电影的精神内核是无可厚非的。但如果仅仅是如此, 完整阅读