MediaCodec 可以用来获得安卓底层的多媒体编码，可以用来编码和解码，它是安卓 low-level 多媒体基础框架的重要组成部分。那为什么不选择FFmpeg来做视频编解码，由于在处理的过程中速率太慢，且需要在解码后快速展示，所以选择MediaCodec。通常和 MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface和AudioTrack 一起使用。

MediaCodec大致来说处理输入数据以生成输出数据。 它异步处理数据，并使用一组输入和输出缓冲区。 生成一个空的输入缓冲区，将其填充数据并将其发送到编解码器进行处理。 编解码器用完了数据并将其转换为空的输出缓冲区之一。 将已填充的输出缓冲区给用户，最后将其释放回编解码器。

【相关学习资料推荐，点击下方链接免费报名，先码住不迷路~】

C++音视频配套学习资料：点击莬费领取→闊宠棰戝紑鍙戯紙璧勬枡鏂囨。+瑙嗛鏁欑▼+闈㈣瘯棰橈級锛團Fmpeg+WebRTC+RTMP+RTSP+HLS+RTP锛?

一、数据类型

编解码器支持的数据类型： 压缩的音视频据、原始音频数据和原始视频数据。

• 数据通过ByteBuffers类来表示。
• 可以设置Surface来获取/呈现原始的视频数据，Surface使用本地的视频buffer，不需要进行ByteBuffers拷贝。可以让编解码器的效率更高。
• 通常在使用Surface的时候，无法访问原始的视频数据，但是可以使用ImageReader访问解码后的原始视频帧。在使用ByteBuffer的模式下，可以使用Image类和getInput/OutputImage(int)获取原始视频帧。

压缩数据：

• MediaFormat#KEY_MIME格式类型。
• 对于视频类型，通常是一个单独的压缩视频帧。
• 对于音频数据，通常是一个单独的访问单元(一个编码的音频段通常包含由格式类型决定的几毫秒的音频)，但是这个要求稍微宽松一些，因为一个buffer可能包含多个编码的音频访问单元。
• 在这两种情况下，buffer都不会在任意字节边界上开始或结束，而是在帧/访问单元边界上开始或结束，除非它们被BUFFER_FLAG_PARTIAL_FRAME标记。

原始音频buffers

原始音频buffer包含PCM音频数据的整个帧，这是每个通道按通道顺序的一个样本。每个样本都是一个 AudioFormat#ENCODING_PCM_16BIT。

原始视频buffers

在ByteBuffer模式下，视频buffer根据它们的MediaFormat#KEY_COLOR_FORMAT进行布局。可以从getCodecInfo(). MediaCodecInfo.getCapabilitiesForType.CodecCapability.colorFormats获取支持的颜色格式。视频编解码器可以支持三种颜色格式:

• native raw video format: CodecCapabilities.COLOR_FormatSurface，可以与输入/输出的Surface一起使用。
• flexible YUV buffers 例如CodecCapabilities.COLOR_FormatYUV420Flexible， 可以使用getInput/OutputImage(int)与输入/输出Surface一起使用，也可以在ByteBuffer模式下使用。
• other, specific formats: 通常只支持ByteBuffer模式。有些颜色格式是厂商特有的，其他定义在CodecCapabilities。对于等价于flexible格式的颜色格式，可以使用getInput/OutputImage(int)。

从Build.VERSION_CODES.LOLLIPOP_MR1.开始，所有视频编解码器都支持flexible的YUV 4:2:0 buffer。

二、MediaCodec API简介

MediaCodec 主要的API做一个介绍：

• MediaCodec创建：
• createDecoderByType/createEncoderByType：根据特定MIME类型(如"video/avc")创建codec。
• createByCodecName：知道组件的确切名称(如OMX.google.mp3.decoder)的时候，根据组件名创建codec。使用MediaCodecList可以获取组件的名称。
• configure：配置解码器或者编码器。
• start：成功配置组件后调用start。
• buffer处理的接口：
• dequeueInputBuffer：从输入流队列中取数据进行编码操作。
• queueInputBuffer：输入流入队列。
• dequeueOutputBuffer：从输出队列中取出编码操作之后的数据。
• releaseOutputBuffer：处理完成，释放ByteBuffer数据。
• getInputBuffers：获取需要编码数据的输入流队列，返回的是一个ByteBuffer数组。
• getOutputBuffers：获取编解码之后的数据输出流队列，返回的是一个ByteBuffer数组。
• flush：清空的输入和输出端口。
• stop：终止decode/encode会话
• release：释放编解码器实例使用的资源。

三、使用流程

1. MediaCodec创建
2. configure传入配置数据
3. MediaCodec.start()启动转码
4. dequeueInputBuffer填充数据
5. getOutputBuffer获取ByteBuffer数据
6. releaseOutputBuffer释放数据

MediaCodec创建

1. 可以使用MediaCodecList为特定的媒体格式创建一个MediaCodec。

• 可以从MediaExtractor#getTrackFormat获得track的格式。
• 使用MediaFormat#setFeatureEnabled注入想要添加的任何特性。
• 然后调用MediaCodecList#findDecoderForFormat来获取能够处理该特定媒体格式的编解码器的名称。
• 最后，使用createByCodecName(字符串)创建编解码器。

2. 还可以使用createDecoder/EncoderByType(java.lang.String)为特定MIME类型创建首选的编解码器。但是，这不能用于注入特性，并且可能会创建一个不能处理特定媒体格式的编解码器。

【相关学习资料推荐，点击下方链接免费报名，先码住不迷路~】

C++音视频配套学习资料：点击莬费领取→音视频开发（资料文档+视频教程+面试题）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

configure传入配置数据

在创建好 MediaCodec 之后，需要对其进行设置，这样 MediaCodec 的状态就可以由 uninitialized 变成 configured

public void configure(
            @Nullable MediaFormat format,
            @Nullable Surface surface, @Nullable MediaCrypto crypto,
            @ConfigureFlag int flags) {
        configure(format, surface, crypto, null, flags);
}
public void configure(
            @Nullable MediaFormat format, @Nullable Surface surface,
            @ConfigureFlag int flags, @Nullable MediaDescrambler descrambler) {
        configure(format, surface, null,
                descrambler != null ? descrambler.getBinder() : null, flags);
}

MediaFormat format：输入数据的格式(解码器)或输出数据的所需格式(编码器)。传null等同于传递MediaFormat#MediaFormat作为空的MediaFormat。

Surface surface：指定Surface，用于解码器输出的渲染。如果编解码器不生成原始视频输出(例如，不是视频解码器)和/或想配置解码器输出ByteBuffer，则传null。

MediaCrypto crypto：指定一个crypto对象，用于对媒体数据进行安全解密。对于非安全的编解码器，传null。

int flags：当组件是编码器时，flags指定为常量CONFIGURE_FLAG_ENCODE。

MediaFormat, 如果某些参数没有设置的话，会导致 MediaCodec 抛出 IllegalStateException.

Video 所必须的 Format Setting

Audio 所必须的 Format Setting

 //视频格式
        // 类型（avc高级编码 h264） 编码出的宽、高
        MediaFormat mediaFormat = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, mWidth, mHeight);
        //参数配置
        // 1500kbs码率
        mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, 1500_000);
        //帧率
        mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 20);
        //关键帧间隔
        mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 20);
        //颜色格式（RGB\YUV）
        //从surface当中回去
        mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);
        //编码器
        mMediaCodec = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC);
        //将参数配置给编码器
        mMediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);

MediaCodec.start

mMediaCodec.start();

dequeueInputBuffer

//结合MediaMuxer去使用
//在初始化的时候调用
//封装器 复用器
// 一个 mp4 的封装器 将h.264 通过它写出到文件就可以了
mMediaMuxer = new MediaMuxer(mPath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);

//输出缓冲区
MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
//等待10 ms
int status = mMediaCodec.dequeueOutputBuffer(bufferInfo, 10_000);
//让我们重试  1、需要更多数据  2、可能还没编码为完（需要更多时间）
            if (status == MediaCodec.INFO_TRY_AGAIN_LATER) {
            } else if (status == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
                //开始编码 就会调用一次
                MediaFormat outputFormat = mMediaCodec.getOutputFormat();
                //配置封装器
                // 增加一路指定格式的媒体流 视频
                index = mMediaMuxer.addTrack(outputFormat);
                mMediaMuxer.start();
            } else if (status == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) {
                //忽略
            } else {
              //成功 取出一个有效的输出
                ByteBuffer outputBuffer = mMediaCodec.getOutputBuffer(status);
                //如果获取的ByteBuffer 是配置信息 ,不需要写出到mp4
                if ((bufferInfo.flags & MediaCodec.BUFFER_FLAG_CODEC_CONFIG) != 0) {
                    bufferInfo.size = 0;
                }

                if (bufferInfo.size != 0) {
                    //mSpeed是一个倍数默认是1
                    bufferInfo.presentationTimeUs = (long) (bufferInfo.presentationTimeUs / mSpeed);
                    //写到mp4
                    //根据偏移定位
                    outputBuffer.position(bufferInfo.offset);
                    //ByteBuffer 可读写总长度
                    outputBuffer.limit(bufferInfo.offset + bufferInfo.size);
                    //写出
                    mMediaMuxer.writeSampleData(index, outputBuffer, bufferInfo);
                }
            }

getOutputBuffer

//成功 取出一个有效的输出
ByteBuffer outputBuffer = mMediaCodec.getOutputBuffer(status);

使用此方法将输出buffer返回给codec或将其渲染在输出surface。

releaseOutputBuffer

public void releaseOutputBuffer (int index, 
                boolean render)

• boolean render：如果在配置codec时指定了一个有效的surface，则传递true会将此输出buffer在surface上渲染。一旦不再使用buffer，该surface将把buffer释放回codec。

总结

学完了MediaCodec和MediaMuxer我们可以结合使用，做一个视频录制的小功能，也可以加上OpenGL一起，主要是利用MediaCodec.createInputSurface();获得一个Surface，就会自动编码 inputSurface 中的图像，交给虚拟屏幕 通过opengl 将预览的纹理 绘制到这一个虚拟屏幕中