python人物视频背景替换实现虚拟空间穿梭

2024-04-02 19:04:59 438人浏览薄情痞子

Python 官方文档：入门教程 => 点击学习

摘要

目录引言准备工作纯RGB背景替换自定义图像背景板替换引言近期网上这位卖蜂蜜的小伙鬼畜挺火的，大家质疑背景造假，这里我就带着大家实现“背景造假”（PS:原视频

引言

近期网上这位卖蜂蜜的小伙鬼畜挺火的，大家质疑背景造假，这里我就带着大家实现“背景造假”（PS:原视频小伙是在真实场景拍摄的）

准备工作

在实现该功能之前，我们需要准备好python==3.7 然后执行：

pip install mediapipe

方案一： PC端可以选择外界摄像头或者连接网络摄像头，最好挑选一个纯属的背景板作为视频画面背景（这样有利于任务分割）；

方案二：网上下载有人物活动的视频，然后用下载的视频替代连接摄像头。

到这里我们基础物件已经搭建好了，本实验代码选择方案二，对下载视频分析，其shape=（740,640,3）。接下来我将带领大家实现三个版本的背景替换

纯RGB背景替换

基础板：将人物提取出来，替换成设定好的纯色背景（可以通过RGB设定）。其基本流程如下：

1. 输入视频

2. 获取视频帧

3. 提取帧内人物图像

4. 设定背景RGB值

5. 创建同视频帧同shape的RGB图像

6. 结合背景图与人物图

7. 输出结合图

示例demo：

import cv2
import mediapipe as mp
import numpy as np
mp_drawing = mp.solutions.drawing_utils
mp_selfie_segmentation = mp.solutions.selfie_segmentation
BG_COLOR = (0, 0, 225) # red
cap = cv2.VideoCapture('111.mp4')
with mp_selfie_segmentation.SelfieSegmentation(
    model_selection=0) as selfie_segmentation:
  bg_image = None
  while cap.isOpened():
    success, image = cap.read()
    if not success:
      break
    image = cv2.cvtColor(cv2.flip(image, 1), cv2.COLOR_BGR2RGB)
    image.flags.writeable = False
    results = selfie_segmentation.process(image)
    image.flags.writeable = True
    image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)
    condition = np.stack(
      (results.segmentation_mask,) * 3, axis=-1) > 0.8
    if bg_image is None:
      bg_image = np.zeros(image.shape, dtype=np.uint8)
      bg_image[:] = BG_COLOR
      print(bg_image.shape)
    output_image = np.where(condition, image, bg_image)
    cv2.imshow('MediaPipe Selfie Segmentation', output_image)
    if cv2.waiTKEy(5) & 0xFF == 27:
      break
cap.release()

原视频节选帧&替换背景帧：