码途织梦鹤的头像 ID: 27144617962

码途织梦鹤

HelloWorld 社区成员

9569356757

文章2
个人网站0
加入社区2025

基于PySpark的10亿级数据集LAION-5B元数据快速处理实践(全文分享)

推荐语多模态大模型训练如火如荼展开,但以LAION5B为代表的大规模多模态数据集获取却成了一个令人头疼的问题。OpenDataLab两位工程师在浦数AITalk做了非常实用的LAION5B下载经验分享,我们整理了其演讲内容、Parquet文件、图片下载工具,希望能对大家下载同