Android 显示框架：Surface详解之一

1、Surface图形系统概览

Surface是一个显示系统中的组件，无论是在图形系统的结构之中，还是在生产消费模型的流程之中都做作为一个举足轻重的角色，参与整个安卓的显示生命周期之中。

我们摘抄了两段谷歌对surface的描述作为贯穿整个文章的中心：
1.A surface is an interface for a producer to exchange buffers with a consumer.
2.No matter what rendering api developers use, everything is rendered onto a surface. The surface represents the producer side of a buffer queue that is often consumed by SurfaceFlinger. Every window that is created on the Android platfORM is backed by a surface.

• 下图是安卓官网对于安卓图形架构组成的说明
  • 其中High-level components 是在编写安卓程序时使用到的具体类，安卓app通过控制这些工具，来间接控制surface在底层的使用。
  • 其中Low-level components 是真正属于在framework层中的图形显示实践。

• 下图是整个Low-level components的Graphic Oerview，着重说明了整个显示系统的流转。我们从每个组件，每个箭头来一一分析。
  

我们将整个过程当做一次美术博物馆的展出，便于理解这些组件在显示过程中的作用。

1.1 IMAGE STREAM PRODUCERS

位于生产消费模型的生产端，所有可以生成buffer data 的内容。读取media中的内容，读取camera中的内容，用NDK生成图像，用OpenGL生成图像等等。他们都可以作为纯粹的画家，也就是内容生产者。
他们既决定Buffer Data中的内容，也同时决定“取景框”windows的大小位置。

1.2 NATIVE FRAMEWORK

• 在native framework层中，libgui负责构建buffer队列，安排buffer的消费者，组织有序的生产和消费流程。
• 可以理解为“不懂画但是手握画品的拍卖工厂”。

1.3 WINDOW POSITioNING

• 大部分显示系统，无论安卓、windows、qnx都会需要一个window管理，用来管理不同buffer的大小、层级、位置等等信息，在一个屏幕中，尽可能的配合所有画面的内容。
• 相当于“杂志的排版编辑”

1.4 IMAGE STREAM CONSUMERS

• 自此真正的消费者出现了，他们根据排版编辑的排列信息，去到拍卖工厂中的GraphicBufferQueue中，整合信息将展览画面传到屏幕中。SurfaceFlinger会与HWC通信，决定由谁来合成layer画面。

1.5 HAL

• 硬件部分的内容，HWC是Android中进行窗口（Layer）合成和显示的HAL层模块，Gralloc是用于给graphicbuffer申请内存地址的。

2 Surface的创建

surface在很多层面都有自己的属性，从base到native。由上而下来看看surface到底是怎么创建的。

2.1 构造函数

• 第一层：java接口调用
  • 位置：/frameworks/base/core/java/android/view/Surface.java

        public Surface() {    }        public Surface(SurfaceTexture surfaceTexture) {....        mIsSingleBuffered = surfaceTexture.isSingleBuffered();        synchronized (mLock) {            mName = surfaceTexture.toString();            setNativeObjectLocked(nativeCreateFromSurfaceTexture(surfaceTexture));        }    }        private Surface(long nativeObject) {        synchronized (mLock) {            setNativeObjectLocked(nativeObject);        }    }

Surface类对外有两个构造方法，对内一种：

• 第一个是无参构造，实现也是空的，主要是给readFromParcel()反序列化用的

public void readFromParcel(Parcel source) {...    synchronized (mLock) {        mName = source.readString();        mIsSingleBuffered = source.readInt() != 0;        setNativeObjectLocked(nativeReadFromParcel(mNativeObject, source));    }}

• 第二个是针对GPU绘制内容的，绑定surfacetexture
  • 此时Surface是生产者，SurfaceTexture(Native层对应GLConsumer)是消费者。消费者负责把从BufferQueue中获取的GraphicBuffer转换为纹理，然后业务层可以对纹理进一步处理，例如：上特效或者上屏。
• 第三个是由android_view_Surface_createFromIGraphicBufferProducer函数调用的，如media/ImageReader中的getsurface方法

static jobject ImageReader_getSurface(JNIEnv* env, jobject thiz){...IGraphicBufferProducer* gbp = ImageReader_getProducer(env, thiz);...    // Wrap the IGBP in a Java-language Surface.    return android_view_Surface_createFromIGraphicBufferProducer(env, gbp);}

2.1.1 setNativeObjectLocked

• 仔细看上述三个构造函数，无论是私有办法，还是共有办法，都会调用一个函数setNativeObjectLocked()，区别在与参数的不同
  • 私有办法：setNativeObjectLocked(nativeObject);
  • 无参数： setNativeObjectLocked(nativeReadFromParcel(mNativeObject, source));
  • 绑定surfacetexture：setNativeObjectLocked(nativeCreateFromSurfaceTexture(surfaceTexture));

    private void setNativeObjectLocked(long ptr) {        if (mNativeObject != ptr) {            ...            //只是更新了变量的数值，只是针对不同数据来源的处理            //其中最重要的是mNativeObject 是一个指向native 层surface的指针            mNativeObject = ptr;            ...        }    }

2.2 native 层

2.2.1 nativeReadFromParcel

• 进入native层的第一个内容就是nativeReadFromParcel(mNativeObject, source)

static jlong nativeReadFromParcel(JNIEnv* env, jclass clazz,        jlong nativeObject, jobject parcelObj) {    Parcel* parcel = parcelForJavaObject(env, parcelObj);    ...    android::view::Surface surfaceShim;    // 解析 Parcel 数据，并填充到 native层 的 Surface对象 surfaceShim    surfaceShim.readFromParcel(parcel, true);    // 将传入的指针转换为 native层 的 Surface对象 self    sp<Surface> self(reinterpret_cast<Surface *>(nativeObject));    // 比对 surfaceShim 和 self 中的 Binder 对象 IGraphicBufferProducer    if (self != nullptr            && (IInterface::asBinder(self->getIGraphicBufferProducer()) ==                    IInterface::asBinder(surfaceShim.graphicBufferProducer))) {        //  判断是同一个 IGraphicBufferProducer ，直接返回当前指针        return jlong(self.get());    }    sp<Surface> sur;    if (surfaceShim.graphicBufferProducer != nullptr) {        // IGraphicBufferProducer 不同        // 且 surfaceShim 的 IGraphicBufferProducer 不为空        // 创建一个新的 Surface 对象 sur        sur = new Surface(surfaceShim.graphicBufferProducer, true);        sur->incStrong(&sRefBaseOwner);    }    ...    // 将 sur 的指针返回给 Java 层    return jlong(sur.get());}

• 传入native层中的surface对象为surfaceshim ，将此内容传入native层的surface中，注意这个surfaceshim需要持有一个graphicBufferProducer以此生成一个新的surface对象。

2.2.2 android_view_Surface_createFromIGraphicBufferProducer

• 通过bufferProducer建立新的surface对象

jobject android_view_Surface_createFromIGraphicBufferProducer(JNIEnv* env,        const sp<IGraphicBufferProducer>& bufferProducer) {    if (bufferProducer == NULL) {        return NULL;    }    sp<Surface> surface(new Surface(bufferProducer, true));    return android_view_Surface_createFromSurface(env, surface);}

2.2.3 nativeCreateFromSurfaceTexture(surfaceTexture)

static jlong nativeCreateFromSurfaceTexture(JNIEnv* env, jclass clazz,        jobject surfaceTextureObj) {    sp<IGraphicBufferProducer> producer(SurfaceTexture_getProducer(env, surfaceTextureObj));...    sp<Surface> surface(new Surface(producer, true));...    surface->incStrong(&sRefBaseOwner);    return jlong(surface.get());}

2.2.4 native 中的surface构造函数

不难看出所有的surface创建中，都需要一个IGraphicBufferProducer对象作为参数，而IGraphicBufferProducer对象是一个Binder引用对象，BufferQueue的生产者接口，实现类是BufferQueueProducer

• 注释中还贴心的说明了Surface是ANativeWindow的一种实现，它将图形缓冲区馈送到BufferQueue中

class Surface//ANativeObjectBase，属于模板的一部分//class ANativeObjectBase : public NATIVE_TYPE, public REF    : public ANativeObjectBase<ANativeWindow, Surface, RefBase>public:        Surface(const sp<IGraphicBufferProducer>& bufferProducer, bool controlledByApp = false);    private:    // mSurfaceTexture is the interface to the surface texture server. All    // operations on the surface texture client ultimately translate into    // interactions with the server using this interface.    // TODO: rename to mBufferProducer    // native层的Surface将IGraphicBufferProducer对象保存到了mGraphicBufferProducer变量中。    sp<IGraphicBufferProducer> mGraphicBufferProducer;

• 继承关系图如下，那么问题来了，mGraphicBufferProducer是从哪里来的呢
  • 第一：直接从 GraphicBufferProducer创建Surface
  • 第二：直接从SurfaceTexture创建
  • 第三：就要从surfaceShim.graphicBufferProducer，也就是上一层来获取
    

2.3 总结

• 所有surface在native的构建都需要一个graphicbufferproducer作为参数。而这也真好印证了1.2 NATIVE FRAMEWORK中所提到的
  • 
• surface在java层由三种构建方式，同样对于IGraphicBufferProducer也有不同的渠道获得。
  

参考

https://juejin.cn/post/6944960866404007944

来源地址：https://blog.csdn.net/vs624010607/article/details/129666617