一、AVFoundation核心架构解析

AVFoundation作为苹果提供的多媒体处理框架，其核心设计围绕三个关键组件展开：

1. 捕获会话管理：通过AVCaptureSession协调输入设备与输出目标的数据流，支持多路输入（摄像头、麦克风）与输出（预览层、文件写入）的同步处理。
2. 数据流管道：构建从AVCaptureDeviceInput（输入源）到AVCaptureVideoDataOutput（输出目标）的实时处理链，每帧数据通过sampleBuffer形式传递。
3. 异步处理机制：利用dispatch_queue实现生产者-消费者模型，确保视频帧处理与UI渲染互不阻塞。

典型会话配置示例：

let session = AVCaptureSession()
session.sessionPreset = .hd1920x1080 // 设置分辨率
guard let device = AVCaptureDevice.default(for: .video),
      let input = try? AVCaptureDeviceInput(device: device) else { return }
session.addInput(input)
let output = AVCaptureVideoDataOutput()
output.setSampleBufferDelegate(self, queue: DispatchQueue(label: "videoQueue"))
output.alwaysDiscardsLateVideoFrames = true // 丢弃延迟帧保证实时性
session.addOutput(output)

二、实时拍摄系统实现

1. 设备配置与权限管理

• 权限申请：在Info.plist中添加NSCameraUsageDescription和NSMicrophoneUsageDescription字段
• 设备选择：通过AVCaptureDevice.DiscoverySession枚举可用设备

  let discoverySession = AVCaptureDevice.DiscoverySession(
    deviceTypes: [.builtInWideAngleCamera],
    mediaType: .video,
    position: .back)
  let devices = discoverySession.devices

2. 预览层构建

使用AVCaptureVideoPreviewLayer实现实时预览，需注意：

• 视频方向处理：通过connection.videoOrientation适配设备方向
• 渲染优化：设置videoGravity = .resizeAspectFill避免变形

  let previewLayer = AVCaptureVideoPreviewLayer(session: session)
  previewLayer.frame = view.bounds
  previewLayer.videoGravity = .resizeAspectFill
  view.layer.insertSublayer(previewLayer, at: 0)

3. 会话状态管理

实现AVCaptureSessionDelegate处理中断事件：

func sessionRuntimeError(notification: Notification) {
    guard let error = notification.userInfo?[AVCaptureSessionErrorKey] as? Error else { return }
    print("Session error: \(error.localizedDescription)")
    // 重启会话逻辑
}

三、实时滤镜处理架构

1. Core Image滤镜链

构建可扩展的滤镜管道：

class VideoFilter {
    private let context = CIContext()
    private var filters: [CIFilter] = []
    func addFilter(_ filter: CIFilter) {
        filters.append(filter)
    }
    func process(pixelBuffer: CVPixelBuffer) -> CVPixelBuffer? {
        guard let ciImage = CIImage(cvPixelBuffer: pixelBuffer) else { return nil }
        var result = ciImage
        for filter in filters {
            filter.setValue(result, forKey: kCIInputImageKey)
            result = filter.outputImage!
        }
        return convertCIImageToPixelBuffer(result)
    }
    private func convertCIImageToPixelBuffer(_ image: CIImage) -> CVPixelBuffer? {
        // 实现CIImage到CVPixelBuffer的转换
    }
}

2. 性能优化策略

• 并行处理：使用DispatchQueue.concurrentPerform实现分块处理
• 内存管理：采用CVPixelBufferPool复用像素缓冲区
• GPU加速：通过Metal或OpenGL实现硬件加速

3. 典型滤镜实现

// 亮度调节滤镜
let brightnessFilter = CIFilter(name: "CIColorControls")
brightnessFilter?.setValue(0.5, forKey: kCIInputBrightnessKey)
// 怀旧效果组合滤镜
let sepiaFilter = CIFilter(name: "CISepiaTone")
let vignetteFilter = CIFilter(name: "CIVignette")

四、实时写入系统实现

1. 写入器配置

let outputURL = URL(fileURLWithPath: "temp.mp4")
guard let writer = try? AVAssetWriter(outputURL: outputURL, fileType: .mp4) else { return }
let videoSettings: [String: Any] = [
    AVVideoCodecKey: AVVideoCodecType.h264,
    AVVideoWidthKey: 1920,
    AVVideoHeightKey: 1080,
    AVVideoCompressionPropertiesKey: [
        AVVideoAverageBitRateKey: 8000000,
        AVVideoProfileLevelKey: AVVideoProfileLevelH264HighAutoLevel
    ]
]
let videoInput = AVAssetWriterInput(
    mediaType: .video,
    outputSettings: videoSettings)
videoInput.expectsMediaDataInRealTime = true
writer.add(videoInput)

2. 帧同步写入

实现AVCaptureVideoDataOutputSampleBufferDelegate处理写入：

func captureOutput(_ output: AVCaptureOutput, 
                  didOutput sampleBuffer: CMSampleBuffer, 
                  from connection: AVCaptureConnection) {
    guard writer.status == .writing,
          videoInput.isReadyForMoreMediaData else { return }
    if !videoInput.append(sampleBuffer) {
        print("写入失败: \(writer.error?.localizedDescription ?? "")")
    }
}

3. 写入完成处理

func finishWriting() {
    videoInput.markAsFinished()
    writer.finishWriting {
        print("写入完成，文件保存至: \(outputURL.path)")
        // 处理文件后续操作（如导出、上传）
    }
}

五、完整系统集成

1. 系统架构图

[摄像头] → [捕获会话] → [滤镜处理] → [写入器]
                ↑               ↓
           [预览层]        [文件存储]

2. 线程模型设计

• 主线程：处理UI更新和用户交互
• 捕获线程：处理设备输入和样本缓冲生成
• 滤镜线程：并行处理视频帧
• 写入线程：顺序写入处理后的帧

3. 错误处理机制

enum VideoProcessingError: Error {
    case sessionSetupFailed
    case filterInitializationFailed
    case writingFailed(Error)
}
func handleError(_ error: VideoProcessingError) {
    switch error {
    case .sessionSetupFailed:
        showAlert(title: "设备错误", message: "无法访问摄像头")
    case .writingFailed(let e):
        print("写入错误: \(e.localizedDescription)")
    }
}

六、性能调优实践

1. 分辨率适配：根据设备性能动态调整sessionPreset
2. 帧率控制：通过AVCaptureDevice的activeVideoMinFrameDuration限制帧率
3. 内存监控：使用os_signpost标记关键处理阶段
4. 省电模式：在后台运行时降低处理强度

七、扩展功能建议

1. 动态滤镜切换：通过CIFilter参数动画实现平滑过渡
2. 多路输出：同时输出预览流和录制流
3. 音频处理：集成AVCaptureAudioDataOutput实现音视频同步
4. 元数据注入：在写入时添加GPS、时间戳等元数据

通过本文介绍的架构和方法，开发者可以构建出支持实时滤镜的高性能视频拍摄系统。实际开发中需注意测试不同设备型号的性能表现，建议使用Instruments工具进行详细的内存和CPU分析。对于商业应用，还需考虑添加水印、加密等安全功能。