- A+
python提取喜马拉雅《妖神记》音频
由于听书比看书方便，正好喜马拉雅上面有《妖神记》的音频，下面我们就来将音频一次性提取到本地。
1.构造分页地址
以该音频的首页地址“http://www.ximalaya.com/6974731/album/3268363/”我们可以看到截至目前总共有3个分页共248个音频。
我们先定义一个函数构造3个分页的地址。代码如下：
def get_urls():
for i in range(1,4):
url = 'http://www.ximalaya.com/6974731/album/3268363?page={}'.format(i)
2.提取sound_id
接着对于每个分页我们要提取出每个音频的sound_id,为啥需要提取sound_id呢？后面介绍。
我们通过F12可以看到，该页面是用列表存放了音频id等信息，大致层次div>ul>li.我们通过在sound_id行右键，选择'Copy->Copy selector',可以拷贝到我们需要用到的层次信息‘#mainbox > div.mainbox_wrapper > div.mainbox_left > div > div.personal_body > div.album_soundlist > ul > li:nth-child(1)’。将拷贝出来的信息修改成‘#mainbox > div.mainbox_wrapper > div.mainbox_left > div > div.personal_body > div.album_soundlist > ul > li’然后用于我们的python代码，用来找到sound_id所在并提取sound_id。代码如下：
def get_soundids(url):
res = requests.get(url, headers=headers).text
soup = BeautifulSoup(res, "lxml")
sounds = soup.select('#mainbox > div.mainbox_wrapper > div.mainbox_left > div > div.personal_body\
> div.album_soundlist > ul > li')
for soundinfo in sounds:
soundid = soundinfo.get('sound_id')
3.提取真实地址并下载
有了sound_id后，我们需要通过sound_id获取到音频的真是地址信息。为啥我们可以通过sound_id获取到音频信息呢？在F12的开发者模式下， 选中Network选项，然后选择XHR。然后随便点击其中的一个音频进行播放，我们可以看到在XHR列表数据中出现了类似10577888.json的文件，这个文件刚好就是以对应的sound_id名字命名的json文件。选中后点击Headers,我们可以看到
Request URL:
http://www.ximalaya.com/tracks/10577888.json的请求地址。并且在Response中可以看到如下的json数据，
{
"id":10577888,
"play_path_64":"http://audio.xmcdn.com/group16/M0B/C4/46/wKgDbFZk-YCh3zDAAJlXf_LYS0A511.m4a",
"play_path_32":"http://audio.xmcdn.com/group11/M00/D0/69/wKgDbVZk-XjgcN2kADqIlKzzbF0371.m4a",
"play_path":"http://audio.xmcdn.com/group16/M0B/C4/46/wKgDbFZk-YCh3zDAAJlXf_LYS0A511.m4a",
"duration":1242,
"title":"\u5996\u795e\u8bb0001\uff08\u65b0\u4e66\u4e0a\u7ebf\uff01\uff01\u8bf7\u5404\u4f4d\u7ec6\u7ec6\u54c1\u5473\uff09",
"nickname":"\u76d7\u8f9b",
"uid":6974731,
"waveform":"group16/M0B/C4/65/wKgDalZk-aLRh_1WAAAKuOUsL3k4974.js",
"upload_id":"u_9339247",
"cover_url":"http://fdfs.xmcdn.com/group13/M00/C5/10/wKgDXVZk4aCi7v6HAASg3eWo0_I829.jpg",
"cover_url_142":"http://fdfs.xmcdn.com/group13/M00/C5/10/wKgDXVZk4aCi7v6HAASg3eWo0_I829_web_large.jpg",
"formatted_created_at":"12\u67087\u65e5 11:14",
"is_favorited":null,
"play_count":347395,
"comments_count":619,
"shares_count":2,
"favorites_count":1327,
"album_id":3268363,
"album_title":"\u5996\u795e\u8bb0",
"intro":null,
"have_more_intro":false,
"time_until_now":"2\u5e74\u524d",
"category_name":"book",
"category_title":"\u6709\u58f0\u4e66",
"played_secs":null,
"is_paid":false,
"is_free":null,
"price":null,
"discounted_price":null
}
这样的json数据里面就包含了对应音频的真实地址，play_path_64对应的值就是音频的真实地址。所以我们编写如下代码构造出Request URL并且从返回的json文件中提取出音频地址，再从真实地址下载到本地。
def get_soundlink(soundid):
soundreq = 'http://www.ximalaya.com/tracks/{}.json'.format(soundid)
res = requests.get(soundreq, headers=headers).text
dic = json.loads(res)
title = re.match('妖神记\d*',dic.get('title')).group()
m4aurl = dic.get('play_path_64')
print(m4aurl, title)
f = requests.get(m4aurl)
with open("妖神记\\{}.m4a".format(title), "wb") as code:
code.write(f.content)
4.最后给出完整的全部代码：
完整代码如下：
# python提取喜马拉雅《妖神记》音频
import requests
import re
import json
import os
from bs4 import BeautifulSoup
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)\
Chrome/59.0.3071.112 Safari/537.36 Vivaldi/1.91.867.48'
}
def get_soundlink(soundid):
soundreq = 'http://www.ximalaya.com/tracks/{}.json'.format(soundid)
res = requests.get(soundreq, headers=headers).text
dic = json.loads(res)
title = re.match('妖神记\d*',dic.get('title')).group()
m4aurl = dic.get('play_path_64')
print(m4aurl, title)
f = requests.get(m4aurl)
with open("妖神记\\{}.m4a".format(title), "wb") as code:
code.write(f.content)
def get_soundids(url):
print(url)
res = requests.get(url, headers=headers).text
soup = BeautifulSoup(res, "lxml")
sounds = soup.select('#mainbox > div.mainbox_wrapper > div.mainbox_left > div > div.personal_body\
> div.album_soundlist > ul > li')
for soundinfo in sounds:
soundid = soundinfo.get('sound_id')
get_soundlink(soundid)
def get_urls():
for i in range(1,4):
url = 'http://www.ximalaya.com/6974731/album/3268363?page={}'.format(i)
get_soundids(url)
if not os.path.exists("妖神记"):
os.mkdir("妖神记")
get_urls()
2022年4月24日 下午8:14 沙发
相信你的美元给机器人，看看它是如何增长到$100。 https://take-profitnow.life/?u=bdlkd0x&o=x7t8nng
2022年4月25日 上午1:30 板凳
我们找到了最快致富的方法。 在这里找到它。 https://take-profitnow.life/?u=bdlkd0x&o=x7t8nng
2022年4月25日 下午5:37 地板
让你钱包变厚的最快方法就在这里。 https://take-profitnow.life/?u=bdlkd0x&o=x7t8nng
2022年4月25日 下午10:48 4楼
每个人都可以赚多少，因为他想起诉这个机器人。 https://breweriana.it/gotodate/promo
2022年4月26日 上午3:50 5楼
财务独立是这个机器人的保证。 https://breweriana.it/gotodate/promo
2022年4月26日 上午8:46 6楼
还是不是百万富翁？ 金融机器人会让你成为他！ https://breweriana.it/gotodate/promo
2022年4月26日 下午1:58 7楼
需要更多的钱吗？ 机器人将获得他们真的很快。 https://breweriana.it/gotodate/promo
2022年4月26日 下午7:03 8楼
如果你使用这个金融机器人，每天赚1000美元很容易。 https://breweriana.it/gotodate/promo
2022年4月27日 上午12:13 9楼
没有投资的巨额收入是可用的，现在！ https://breweriana.it/gotodate/promo
2022年4月27日 下午4:31 10楼
学习如何每天制作数百个背。 https://breweriana.it/gotodate/promo
2022年4月27日 下午9:47 11楼
小额投资可以很快带来成吨的美元。 https://2f-2f.de/gotodate/promo
2022年4月28日 上午3:02 12楼
启动机器人，让它带给你的钱。 https://2f-2f.de/gotodate/promo
2022年4月28日 上午8:10 13楼
机器人从不睡觉。 它为你赚钱24/7。 https://2f-2f.de/gotodate/promo
2022年4月28日 上午9:32 14楼
哇塞! 这个机器人是在线职业生涯的一个很好的开始。 https://2f-2f.de/gotodate/promo
2022年4月28日 下午2:39 15楼
退休人员最好的在线工作。 让你的晚年富有。 https://2f-2f.de/gotodate/promo
2022年4月28日 下午7:45 16楼
额外的收入可用于使用此机器人的每个人。 https://2f-2f.de/gotodate/promo
2022年4月29日 上午12:45 17楼
额外的收入可用于使用此机器人的每个人。 https://2f-2f.de/gotodate/promo
2022年4月29日 上午5:49 18楼
没有必要担心未来，如果你使用这个金融机器人。 https://2f-2f.de/gotodate/promo
2022年4月29日 上午11:18 19楼
需要钱吗？ 赚它不离开你的家。 https://2f-2f.de/gotodate/promo
2022年4月29日 下午4:44 20楼
有钱人是有钱的，因为他们使用这个机器人。 https://2f-2f.de/gotodate/promo
2022年4月29日 下午10:20 21楼
启动机器人，让它带给你的钱。 https://2f-2f.de/gotodate/promo
2022年4月30日 上午3:19 22楼
金融机器人是富人的最佳伴侣。 https://2f-2f.de/gotodate/promo
2022年4月30日 上午8:24 23楼
金融机器人是有史以来第一个投资工具. 发射它！ https://2f-2f.de/gotodate/promo
2022年4月30日 下午1:41 24楼
还是不是百万富翁？ 现在就修好它！ https://2f-2f.de/gotodate/promo
2022年4月30日 下午7:01 25楼
即使是孩子也知道如何赚钱。 你呢？ https://2f-2f.de/gotodate/promo