在SpringBoot项目中如何确保FFmpeg和OpenCV的so依赖在打包后正确加载？

在SpringBoot项目中如何确保FFmpeg和OpenCV的so依赖在打包后正确加载？

在开发过程中，经常会遇到将FFmpeg和OpenCV集成到SpringBoot项目中的情况，尤其是当项目需要处理视频和图像时。然而，开发环境和生产环境之间的差异常常导致库文件加载问题。本文将详细探讨如何在SpringBoot项目中正确加载FFmpeg和OpenCV的so依赖，并确保打包后的应用也能正常运行。

问题背景

在使用Java 21和SpringBoot 3开发的项目中，我们依赖于FFmpeg 7.1-1.5.11和OpenCV 4.10.0-1.5.11这两个库。项目的pom.xml配置如下：

<properties>
<bytedeco.version>1.5.11</bytedeco.version>
<opencv-platform.version>4.10.0-1.5.11</opencv-platform.version>
<ffmpeg-platform.version>7.1-1.5.11</ffmpeg-platform.version>
<javacpp.platform.linux-x86_64>linux-x86_64</javacpp.platform.linux-x86_64>
<javacpp.platform.windows-x86_64>windows-x86_64</javacpp.platform.windows-x86_64>
<javacpp.platform>${javacpp.platform.linux-x86_64}</javacpp.platform>
</properties>
<dependencies>
<dependency>
<groupId>org.bytedeco</groupId>
<artifactId>javacpp</artifactId>
<version>${bytedeco.version}</version>
</dependency>
<dependency>
<groupId>org.bytedeco</groupId>
<artifactId>javacv</artifactId>
<version>${bytedeco.version}</version>
</dependency>
<dependency>
<groupId>org.bytedeco</groupId>
<artifactId>opencv</artifactId>
<version>${opencv-platform.version}</version>
<classifier>${javacpp.platform}</classifier>
</dependency>
<dependency>
<groupId>org.bytedeco</groupId>
<artifactId>ffmpeg</artifactId>
<version>${ffmpeg-platform.version}</version>
<classifier>${javacpp.platform}</classifier>
</dependency>
</dependencies>

当项目打包成jar后，FFmpeg和OpenCV的so依赖应该被包含在jar包中的BOOT-INF/lib目录下。然而，在运行时，这些依赖并没有被正确加载，导致如下错误：

Caused by: java.lang.ExceptionInInitializerError: Exception java.lang.UnsatisfiedLinkError: no jniavutil in java.library.path: /usr/java/packages/lib:/usr/lib64:/lib64:/lib:/usr/lib [in thread "http-nio-8100-exec-1"]

在开发环境中，IDE会自动将依赖添加到classpath中，因此可以正常加载。但在生产环境中，jar包的运行方式不同，导致这些依赖无法被找到。

解决方案

为了解决这个问题，我们需要在SpringBoot应用中编程方式配置JavaCPP，以便在应用启动时正确加载这些本地库。

1. 在应用启动时配置JavaCPP

   我们可以创建一个配置类，在应用启动时执行必要的配置：

   package com.demo.config;
   import org.bytedeco.javacpp.Loader;
   import org.springframework.context.annotation.Configuration;
   import javax.annotation.PostConstruct;
   @Configuration
   public class JavaCppConfig {
   @PostConstruct
   public void init() {
   // 设置JavaCPP提取本地库的目录
   System.setProperty("org.bytedeco.javacpp.extract", "true");
   System.setProperty("org.bytedeco.javacpp.extractDir", "/tmp/javacpp-native-libs");
   // 预加载需要的库，这会触发JavaCPP从jar中提取库文件
   try {
   // 预加载FFmpeg相关库
   Loader.load(org.bytedeco.ffmpeg.global.avutil.class);
   Loader.load(org.bytedeco.ffmpeg.global.avcodec.class);
   Loader.load(org.bytedeco.ffmpeg.global.avformat.class);
   Loader.load(org.bytedeco.ffmpeg.global.swscale.class);
   // 预加载OpenCV库
   Loader.load(org.bytedeco.opencv.global.opencv_core.class);
   Loader.load(org.bytedeco.opencv.global.opencv_imgproc.class);
   System.out.println("Native libraries loaded successfully");
   } catch (Exception e) {
   System.err.println("Failed to load native libraries: "   e.getMessage());
   e.printStackTrace();
   }
   }
   }

2. 自定义Docker镜像构建

   如果项目需要构建成Docker镜像，我们可以创建一个自定义的Dockerfile来预先提取这些本地库并配置好路径：

   FROM openjdk:21-slim
   # 安装程序运行所需的库
   RUN apt-get update && apt-get install -y \
   libgomp1 \
   && rm -rf /var/lib/apt/lists/*
   # 创建目录用于提取本地库
   RUN mkdir -p /opt/javacpp-native-libs
   ENV JAVACPP_EXTRACT_DIR=/opt/javacpp-native-libs
   # 设置工作目录
   WORKDIR /app
   # 复制应用jar包
   COPY target/*.jar app.jar
   # 预先提取所有本地库到指定目录
   RUN mkdir -p /tmp/extract && \
   cd /tmp/extract && \
   java -Dorg.bytedeco.javacpp.extract=true \
   -Dorg.bytedeco.javacpp.extractDir=/opt/javacpp-native-libs \
   -jar /app/app.jar --extract-native-libraries && \
   rm -rf /tmp/extract
   # 设置系统属性，指向提取的本地库位置
   ENV JAVA_OPTS="-Dorg.bytedeco.javacpp.extractDir=/opt/javacpp-native-libs -Dorg.bytedeco.javacpp.extract=false"
   # 启动应用
   ENTRYPOINT ["sh", "-c", "java $JAVA_OPTS -jar app.jar"]

通过上述方法，我们可以在应用启动时正确加载FFmpeg和OpenCV的so依赖，并且确保在Docker容器中也能正常运行，而无需修改基础镜像或将so文件添加到外部目录。

注意事项

• JavaCPP需要能够写入临时目录来提取本地库。
• 在Docker环境中，可能需要添加-Dorg.bytedeco.javacpp.maxphysicalbytes=0来防止内存限制问题。
• 如果项目需要在多个平台（如Windows和Linux）上运行，需注意配置正确的平台属性。

通过在启动应用时添加以下系统属性，也可以尝试解决问题：

java -Djava.library.path=path/to/extracted/libs -Djavacpp.platform=linux-x86_64 -jar your-app.jar