Apple的MLX是一个用于机器学习的推理框架,其最大的特点是能是用Apple的统一内存进行LLM推理。想到明年可能做AI编译器的相关工作,而手边有一台学校发的M3 Macbook Air,就想着尝鲜试下

环境配置

MLX手册给的是使用Python安装,这很明显不是我想要的,看了下HomeBrew有收入,那就直接HomeBrew安装

brew install mlx

但这个环境只能运行Python和C++版本的MLX,想要运行C版本的MLX,需要拉取Git,手动配置CMake手动安装(也许后面可以试试以后把MLX-C打包上传HomeBrew?)

git clone https://github.com/ml-explore/mlx-c

配置CMake和Ninja

mkdir build && cd build
cmake .. -G Ninja -DCMAKE_BUILD_TYPE=Release
sudo ninja install

但我在编译的时候出现报错,告诉我找不到Metal API,网上找资料被告知需要去AppStore安装完整版XCode,完成第一次运行后才能使用

sudo xcodebuild -license accept
sudo xcodebuild -runFirstLaunch

在安装完XCode以后,还需要再安装MetalToolchain才行

xcodebuild -downloadComponent MetalToolchain

CMake项目环境配置

CMAKE_PREFIX_PATH里把编译好的MLX-C给加上

cmake .. -G Ninja -DCMAKE_PREFIX_PATH="$(brew --prefix mlx);/usr/local"

相对应的CMakeLists.txt加上对应的find_package

find_package(MLX CONFIG REQUIRED)
find_package(MLXC CONFIG REQUIRED)

测试程序

TODO