1119 lines
24 KiB
Python
1119 lines
24 KiB
Python
|
import os
|
||
|
|
from pathlib import Path
|
||
|
|
from typing import Optional, Tuple, Union
|
||
|
|
|
||
|
|
import torchaudio
|
||
|
|
from torch import Tensor
|
||
|
|
from torch.utils.data import Dataset
|
||
|
|
from torchaudio._internal import download_url_to_file
|
||
|
|
from torchaudio.datasets.utils import _extract_tar
|
||
|
|
|
||
|
|
# The following lists prefixed with `filtered_` provide a filtered split
|
||
|
|
# that:
|
||
|
|
#
|
||
|
|
# a. Mitigate a known issue with GTZAN (duplication)
|
||
|
|
#
|
||
|
|
# b. Provide a standard split for testing it against other
|
||
|
|
# methods (e.g. the one in jordipons/sklearn-audio-transfer-learning).
|
||
|
|
#
|
||
|
|
# Those are used when GTZAN is initialised with the `filtered` keyword.
|
||
|
|
# The split was taken from (github) jordipons/sklearn-audio-transfer-learning.
|
||
|
|
|
||
|
|
gtzan_genres = [
|
||
|
|
"blues",
|
||
|
|
"classical",
|
||
|
|
"country",
|
||
|
|
"disco",
|
||
|
|
"hiphop",
|
||
|
|
"jazz",
|
||
|
|
"metal",
|
||
|
|
"pop",
|
||
|
|
"reggae",
|
||
|
|
"rock",
|
||
|
|
]
|
||
|
|
|
||
|
|
filtered_test = [
|
||
|
|
"blues.00012",
|
||
|
|
"blues.00013",
|
||
|
|
"blues.00014",
|
||
|
|
"blues.00015",
|
||
|
|
"blues.00016",
|
||
|
|
"blues.00017",
|
||
|
|
"blues.00018",
|
||
|
|
"blues.00019",
|
||
|
|
"blues.00020",
|
||
|
|
"blues.00021",
|
||
|
|
"blues.00022",
|
||
|
|
"blues.00023",
|
||
|
|
"blues.00024",
|
||
|
|
"blues.00025",
|
||
|
|
"blues.00026",
|
||
|
|
"blues.00027",
|
||
|
|
"blues.00028",
|
||
|
|
"blues.00061",
|
||
|
|
"blues.00062",
|
||
|
|
"blues.00063",
|
||
|
|
"blues.00064",
|
||
|
|
"blues.00065",
|
||
|
|
"blues.00066",
|
||
|
|
"blues.00067",
|
||
|
|
"blues.00068",
|
||
|
|
"blues.00069",
|
||
|
|
"blues.00070",
|
||
|
|
"blues.00071",
|
||
|
|
"blues.00072",
|
||
|
|
"blues.00098",
|
||
|
|
"blues.00099",
|
||
|
|
"classical.00011",
|
||
|
|
"classical.00012",
|
||
|
|
"classical.00013",
|
||
|
|
"classical.00014",
|
||
|
|
"classical.00015",
|
||
|
|
"classical.00016",
|
||
|
|
"classical.00017",
|
||
|
|
"classical.00018",
|
||
|
|
"classical.00019",
|
||
|
|
"classical.00020",
|
||
|
|
"classical.00021",
|
||
|
|
"classical.00022",
|
||
|
|
"classical.00023",
|
||
|
|
"classical.00024",
|
||
|
|
"classical.00025",
|
||
|
|
"classical.00026",
|
||
|
|
"classical.00027",
|
||
|
|
"classical.00028",
|
||
|
|
"classical.00029",
|
||
|
|
"classical.00034",
|
||
|
|
"classical.00035",
|
||
|
|
"classical.00036",
|
||
|
|
"classical.00037",
|
||
|
|
"classical.00038",
|
||
|
|
"classical.00039",
|
||
|
|
"classical.00040",
|
||
|
|
"classical.00041",
|
||
|
|
"classical.00049",
|
||
|
|
"classical.00077",
|
||
|
|
"classical.00078",
|
||
|
|
"classical.00079",
|
||
|
|
"country.00030",
|
||
|
|
"country.00031",
|
||
|
|
"country.00032",
|
||
|
|
"country.00033",
|
||
|
|
"country.00034",
|
||
|
|
"country.00035",
|
||
|
|
"country.00036",
|
||
|
|
"country.00037",
|
||
|
|
"country.00038",
|
||
|
|
"country.00039",
|
||
|
|
"country.00040",
|
||
|
|
"country.00043",
|
||
|
|
"country.00044",
|
||
|
|
"country.00046",
|
||
|
|
"country.00047",
|
||
|
|
"country.00048",
|
||
|
|
"country.00050",
|
||
|
|
"country.00051",
|
||
|
|
"country.00053",
|
||
|
|
"country.00054",
|
||
|
|
"country.00055",
|
||
|
|
"country.00056",
|
||
|
|
"country.00057",
|
||
|
|
"country.00058",
|
||
|
|
"country.00059",
|
||
|
|
"country.00060",
|
||
|
|
"country.00061",
|
||
|
|
"country.00062",
|
||
|
|
"country.00063",
|
||
|
|
"country.00064",
|
||
|
|
"disco.00001",
|
||
|
|
"disco.00021",
|
||
|
|
"disco.00058",
|
||
|
|
"disco.00062",
|
||
|
|
"disco.00063",
|
||
|
|
"disco.00064",
|
||
|
|
"disco.00065",
|
||
|
|
"disco.00066",
|
||
|
|
"disco.00069",
|
||
|
|
"disco.00076",
|
||
|
|
"disco.00077",
|
||
|
|
"disco.00078",
|
||
|
|
"disco.00079",
|
||
|
|
"disco.00080",
|
||
|
|
"disco.00081",
|
||
|
|
"disco.00082",
|
||
|
|
"disco.00083",
|
||
|
|
"disco.00084",
|
||
|
|
"disco.00085",
|
||
|
|
"disco.00086",
|
||
|
|
"disco.00087",
|
||
|
|
"disco.00088",
|
||
|
|
"disco.00091",
|
||
|
|
"disco.00092",
|
||
|
|
"disco.00093",
|
||
|
|
"disco.00094",
|
||
|
|
"disco.00096",
|
||
|
|
"disco.00097",
|
||
|
|
"disco.00099",
|
||
|
|
"hiphop.00000",
|
||
|
|
"hiphop.00026",
|
||
|
|
"hiphop.00027",
|
||
|
|
"hiphop.00030",
|
||
|
|
"hiphop.00040",
|
||
|
|
"hiphop.00043",
|
||
|
|
"hiphop.00044",
|
||
|
|
"hiphop.00045",
|
||
|
|
"hiphop.00051",
|
||
|
|
"hiphop.00052",
|
||
|
|
"hiphop.00053",
|
||
|
|
"hiphop.00054",
|
||
|
|
"hiphop.00062",
|
||
|
|
"hiphop.00063",
|
||
|
|
"hiphop.00064",
|
||
|
|
"hiphop.00065",
|
||
|
|
"hiphop.00066",
|
||
|
|
"hiphop.00067",
|
||
|
|
"hiphop.00068",
|
||
|
|
"hiphop.00069",
|
||
|
|
"hiphop.00070",
|
||
|
|
"hiphop.00071",
|
||
|
|
"hiphop.00072",
|
||
|
|
"hiphop.00073",
|
||
|
|
"hiphop.00074",
|
||
|
|
"hiphop.00075",
|
||
|
|
"hiphop.00099",
|
||
|
|
"jazz.00073",
|
||
|
|
"jazz.00074",
|
||
|
|
"jazz.00075",
|
||
|
|
"jazz.00076",
|
||
|
|
"jazz.00077",
|
||
|
|
"jazz.00078",
|
||
|
|
"jazz.00079",
|
||
|
|
"jazz.00080",
|
||
|
|
"jazz.00081",
|
||
|
|
"jazz.00082",
|
||
|
|
"jazz.00083",
|
||
|
|
"jazz.00084",
|
||
|
|
"jazz.00085",
|
||
|
|
"jazz.00086",
|
||
|
|
"jazz.00087",
|
||
|
|
"jazz.00088",
|
||
|
|
"jazz.00089",
|
||
|
|
"jazz.00090",
|
||
|
|
"jazz.00091",
|
||
|
|
"jazz.00092",
|
||
|
|
"jazz.00093",
|
||
|
|
"jazz.00094",
|
||
|
|
"jazz.00095",
|
||
|
|
"jazz.00096",
|
||
|
|
"jazz.00097",
|
||
|
|
"jazz.00098",
|
||
|
|
"jazz.00099",
|
||
|
|
"metal.00012",
|
||
|
|
"metal.00013",
|
||
|
|
"metal.00014",
|
||
|
|
"metal.00015",
|
||
|
|
"metal.00022",
|
||
|
|
"metal.00023",
|
||
|
|
"metal.00025",
|
||
|
|
"metal.00026",
|
||
|
|
"metal.00027",
|
||
|
|
"metal.00028",
|
||
|
|
"metal.00029",
|
||
|
|
"metal.00030",
|
||
|
|
"metal.00031",
|
||
|
|
"metal.00032",
|
||
|
|
"metal.00033",
|
||
|
|
"metal.00038",
|
||
|
|
"metal.00039",
|
||
|
|
"metal.00067",
|
||
|
|
"metal.00070",
|
||
|
|
"metal.00073",
|
||
|
|
"metal.00074",
|
||
|
|
"metal.00075",
|
||
|
|
"metal.00078",
|
||
|
|
"metal.00083",
|
||
|
|
"metal.00085",
|
||
|
|
"metal.00087",
|
||
|
|
"metal.00088",
|
||
|
|
"pop.00000",
|
||
|
|
"pop.00001",
|
||
|
|
"pop.00013",
|
||
|
|
"pop.00014",
|
||
|
|
"pop.00043",
|
||
|
|
"pop.00063",
|
||
|
|
"pop.00064",
|
||
|
|
"pop.00065",
|
||
|
|
"pop.00066",
|
||
|
|
"pop.00069",
|
||
|
|
"pop.00070",
|
||
|
|
"pop.00071",
|
||
|
|
"pop.00072",
|
||
|
|
"pop.00073",
|
||
|
|
"pop.00074",
|
||
|
|
"pop.00075",
|
||
|
|
"pop.00076",
|
||
|
|
"pop.00077",
|
||
|
|
"pop.00078",
|
||
|
|
"pop.00079",
|
||
|
|
"pop.00082",
|
||
|
|
"pop.00088",
|
||
|
|
"pop.00089",
|
||
|
|
"pop.00090",
|
||
|
|
"pop.00091",
|
||
|
|
"pop.00092",
|
||
|
|
"pop.00093",
|
||
|
|
"pop.00094",
|
||
|
|
"pop.00095",
|
||
|
|
"pop.00096",
|
||
|
|
"reggae.00034",
|
||
|
|
"reggae.00035",
|
||
|
|
"reggae.00036",
|
||
|
|
"reggae.00037",
|
||
|
|
"reggae.00038",
|
||
|
|
"reggae.00039",
|
||
|
|
"reggae.00040",
|
||
|
|
"reggae.00046",
|
||
|
|
"reggae.00047",
|
||
|
|
"reggae.00048",
|
||
|
|
"reggae.00052",
|
||
|
|
"reggae.00053",
|
||
|
|
"reggae.00064",
|
||
|
|
"reggae.00065",
|
||
|
|
"reggae.00066",
|
||
|
|
"reggae.00067",
|
||
|
|
"reggae.00068",
|
||
|
|
"reggae.00071",
|
||
|
|
"reggae.00079",
|
||
|
|
"reggae.00082",
|
||
|
|
"reggae.00083",
|
||
|
|
"reggae.00084",
|
||
|
|
"reggae.00087",
|
||
|
|
"reggae.00088",
|
||
|
|
"reggae.00089",
|
||
|
|
"reggae.00090",
|
||
|
|
"rock.00010",
|
||
|
|
"rock.00011",
|
||
|
|
"rock.00012",
|
||
|
|
"rock.00013",
|
||
|
|
"rock.00014",
|
||
|
|
"rock.00015",
|
||
|
|
"rock.00027",
|
||
|
|
"rock.00028",
|
||
|
|
"rock.00029",
|
||
|
|
"rock.00030",
|
||
|
|
"rock.00031",
|
||
|
|
"rock.00032",
|
||
|
|
"rock.00033",
|
||
|
|
"rock.00034",
|
||
|
|
"rock.00035",
|
||
|
|
"rock.00036",
|
||
|
|
"rock.00037",
|
||
|
|
"rock.00039",
|
||
|
|
"rock.00040",
|
||
|
|
"rock.00041",
|
||
|
|
"rock.00042",
|
||
|
|
"rock.00043",
|
||
|
|
"rock.00044",
|
||
|
|
"rock.00045",
|
||
|
|
"rock.00046",
|
||
|
|
"rock.00047",
|
||
|
|
"rock.00048",
|
||
|
|
"rock.00086",
|
||
|
|
"rock.00087",
|
||
|
|
"rock.00088",
|
||
|
|
"rock.00089",
|
||
|
|
"rock.00090",
|
||
|
|
]
|
||
|
|
|
||
|
|
filtered_train = [
|
||
|
|
"blues.00029",
|
||
|
|
"blues.00030",
|
||
|
|
"blues.00031",
|
||
|
|
"blues.00032",
|
||
|
|
"blues.00033",
|
||
|
|
"blues.00034",
|
||
|
|
"blues.00035",
|
||
|
|
"blues.00036",
|
||
|
|
"blues.00037",
|
||
|
|
"blues.00038",
|
||
|
|
"blues.00039",
|
||
|
|
"blues.00040",
|
||
|
|
"blues.00041",
|
||
|
|
"blues.00042",
|
||
|
|
"blues.00043",
|
||
|
|
"blues.00044",
|
||
|
|
"blues.00045",
|
||
|
|
"blues.00046",
|
||
|
|
"blues.00047",
|
||
|
|
"blues.00048",
|
||
|
|
"blues.00049",
|
||
|
|
"blues.00073",
|
||
|
|
"blues.00074",
|
||
|
|
"blues.00075",
|
||
|
|
"blues.00076",
|
||
|
|
"blues.00077",
|
||
|
|
"blues.00078",
|
||
|
|
"blues.00079",
|
||
|
|
"blues.00080",
|
||
|
|
"blues.00081",
|
||
|
|
"blues.00082",
|
||
|
|
"blues.00083",
|
||
|
|
"blues.00084",
|
||
|
|
"blues.00085",
|
||
|
|
"blues.00086",
|
||
|
|
"blues.00087",
|
||
|
|
"blues.00088",
|
||
|
|
"blues.00089",
|
||
|
|
"blues.00090",
|
||
|
|
"blues.00091",
|
||
|
|
"blues.00092",
|
||
|
|
"blues.00093",
|
||
|
|
"blues.00094",
|
||
|
|
"blues.00095",
|
||
|
|
"blues.00096",
|
||
|
|
"blues.00097",
|
||
|
|
"classical.00030",
|
||
|
|
"classical.00031",
|
||
|
|
"classical.00032",
|
||
|
|
"classical.00033",
|
||
|
|
"classical.00043",
|
||
|
|
"classical.00044",
|
||
|
|
"classical.00045",
|
||
|
|
"classical.00046",
|
||
|
|
"classical.00047",
|
||
|
|
"classical.00048",
|
||
|
|
"classical.00050",
|
||
|
|
"classical.00051",
|
||
|
|
"classical.00052",
|
||
|
|
"classical.00053",
|
||
|
|
"classical.00054",
|
||
|
|
"classical.00055",
|
||
|
|
"classical.00056",
|
||
|
|
"classical.00057",
|
||
|
|
"classical.00058",
|
||
|
|
"classical.00059",
|
||
|
|
"classical.00060",
|
||
|
|
"classical.00061",
|
||
|
|
"classical.00062",
|
||
|
|
"classical.00063",
|
||
|
|
"classical.00064",
|
||
|
|
"classical.00065",
|
||
|
|
"classical.00066",
|
||
|
|
"classical.00067",
|
||
|
|
"classical.00080",
|
||
|
|
"classical.00081",
|
||
|
|
"classical.00082",
|
||
|
|
"classical.00083",
|
||
|
|
"classical.00084",
|
||
|
|
"classical.00085",
|
||
|
|
"classical.00086",
|
||
|
|
"classical.00087",
|
||
|
|
"classical.00088",
|
||
|
|
"classical.00089",
|
||
|
|
"classical.00090",
|
||
|
|
"classical.00091",
|
||
|
|
"classical.00092",
|
||
|
|
"classical.00093",
|
||
|
|
"classical.00094",
|
||
|
|
"classical.00095",
|
||
|
|
"classical.00096",
|
||
|
|
"classical.00097",
|
||
|
|
"classical.00098",
|
||
|
|
"classical.00099",
|
||
|
|
"country.00019",
|
||
|
|
"country.00020",
|
||
|
|
"country.00021",
|
||
|
|
"country.00022",
|
||
|
|
"country.00023",
|
||
|
|
"country.00024",
|
||
|
|
"country.00025",
|
||
|
|
"country.00026",
|
||
|
|
"country.00028",
|
||
|
|
"country.00029",
|
||
|
|
"country.00065",
|
||
|
|
"country.00066",
|
||
|
|
"country.00067",
|
||
|
|
"country.00068",
|
||
|
|
"country.00069",
|
||
|
|
"country.00070",
|
||
|
|
"country.00071",
|
||
|
|
"country.00072",
|
||
|
|
"country.00073",
|
||
|
|
"country.00074",
|
||
|
|
"country.00075",
|
||
|
|
"country.00076",
|
||
|
|
"country.00077",
|
||
|
|
"country.00078",
|
||
|
|
"country.00079",
|
||
|
|
"country.00080",
|
||
|
|
"country.00081",
|
||
|
|
"country.00082",
|
||
|
|
"country.00083",
|
||
|
|
"country.00084",
|
||
|
|
"country.00085",
|
||
|
|
"country.00086",
|
||
|
|
"country.00087",
|
||
|
|
"country.00088",
|
||
|
|
"country.00089",
|
||
|
|
"country.00090",
|
||
|
|
"country.00091",
|
||
|
|
"country.00092",
|
||
|
|
"country.00093",
|
||
|
|
"country.00094",
|
||
|
|
"country.00095",
|
||
|
|
"country.00096",
|
||
|
|
"country.00097",
|
||
|
|
"country.00098",
|
||
|
|
"country.00099",
|
||
|
|
"disco.00005",
|
||
|
|
"disco.00015",
|
||
|
|
"disco.00016",
|
||
|
|
"disco.00017",
|
||
|
|
"disco.00018",
|
||
|
|
"disco.00019",
|
||
|
|
"disco.00020",
|
||
|
|
"disco.00022",
|
||
|
|
"disco.00023",
|
||
|
|
"disco.00024",
|
||
|
|
"disco.00025",
|
||
|
|
"disco.00026",
|
||
|
|
"disco.00027",
|
||
|
|
"disco.00028",
|
||
|
|
"disco.00029",
|
||
|
|
"disco.00030",
|
||
|
|
"disco.00031",
|
||
|
|
"disco.00032",
|
||
|
|
"disco.00033",
|
||
|
|
"disco.00034",
|
||
|
|
"disco.00035",
|
||
|
|
"disco.00036",
|
||
|
|
"disco.00037",
|
||
|
|
"disco.00039",
|
||
|
|
"disco.00040",
|
||
|
|
"disco.00041",
|
||
|
|
"disco.00042",
|
||
|
|
"disco.00043",
|
||
|
|
"disco.00044",
|
||
|
|
"disco.00045",
|
||
|
|
"disco.00047",
|
||
|
|
"disco.00049",
|
||
|
|
"disco.00053",
|
||
|
|
"disco.00054",
|
||
|
|
"disco.00056",
|
||
|
|
"disco.00057",
|
||
|
|
"disco.00059",
|
||
|
|
"disco.00061",
|
||
|
|
"disco.00070",
|
||
|
|
"disco.00073",
|
||
|
|
"disco.00074",
|
||
|
|
"disco.00089",
|
||
|
|
"hiphop.00002",
|
||
|
|
"hiphop.00003",
|
||
|
|
"hiphop.00004",
|
||
|
|
"hiphop.00005",
|
||
|
|
"hiphop.00006",
|
||
|
|
"hiphop.00007",
|
||
|
|
"hiphop.00008",
|
||
|
|
"hiphop.00009",
|
||
|
|
"hiphop.00010",
|
||
|
|
"hiphop.00011",
|
||
|
|
"hiphop.00012",
|
||
|
|
"hiphop.00013",
|
||
|
|
"hiphop.00014",
|
||
|
|
"hiphop.00015",
|
||
|
|
"hiphop.00016",
|
||
|
|
"hiphop.00017",
|
||
|
|
"hiphop.00018",
|
||
|
|
"hiphop.00019",
|
||
|
|
"hiphop.00020",
|
||
|
|
"hiphop.00021",
|
||
|
|
"hiphop.00022",
|
||
|
|
"hiphop.00023",
|
||
|
|
"hiphop.00024",
|
||
|
|
"hiphop.00025",
|
||
|
|
"hiphop.00028",
|
||
|
|
"hiphop.00029",
|
||
|
|
"hiphop.00031",
|
||
|
|
"hiphop.00032",
|
||
|
|
"hiphop.00033",
|
||
|
|
"hiphop.00034",
|
||
|
|
"hiphop.00035",
|
||
|
|
"hiphop.00036",
|
||
|
|
"hiphop.00037",
|
||
|
|
"hiphop.00038",
|
||
|
|
"hiphop.00041",
|
||
|
|
"hiphop.00042",
|
||
|
|
"hiphop.00055",
|
||
|
|
"hiphop.00056",
|
||
|
|
"hiphop.00057",
|
||
|
|
"hiphop.00058",
|
||
|
|
"hiphop.00059",
|
||
|
|
"hiphop.00060",
|
||
|
|
"hiphop.00061",
|
||
|
|
"hiphop.00077",
|
||
|
|
"hiphop.00078",
|
||
|
|
"hiphop.00079",
|
||
|
|
"hiphop.00080",
|
||
|
|
"jazz.00000",
|
||
|
|
"jazz.00001",
|
||
|
|
"jazz.00011",
|
||
|
|
"jazz.00012",
|
||
|
|
"jazz.00013",
|
||
|
|
"jazz.00014",
|
||
|
|
"jazz.00015",
|
||
|
|
"jazz.00016",
|
||
|
|
"jazz.00017",
|
||
|
|
"jazz.00018",
|
||
|
|
"jazz.00019",
|
||
|
|
"jazz.00020",
|
||
|
|
"jazz.00021",
|
||
|
|
"jazz.00022",
|
||
|
|
"jazz.00023",
|
||
|
|
"jazz.00024",
|
||
|
|
"jazz.00041",
|
||
|
|
"jazz.00047",
|
||
|
|
"jazz.00048",
|
||
|
|
"jazz.00049",
|
||
|
|
"jazz.00050",
|
||
|
|
"jazz.00051",
|
||
|
|
"jazz.00052",
|
||
|
|
"jazz.00053",
|
||
|
|
"jazz.00054",
|
||
|
|
"jazz.00055",
|
||
|
|
"jazz.00056",
|
||
|
|
"jazz.00057",
|
||
|
|
"jazz.00058",
|
||
|
|
"jazz.00059",
|
||
|
|
"jazz.00060",
|
||
|
|
"jazz.00061",
|
||
|
|
"jazz.00062",
|
||
|
|
"jazz.00063",
|
||
|
|
"jazz.00064",
|
||
|
|
"jazz.00065",
|
||
|
|
"jazz.00066",
|
||
|
|
"jazz.00067",
|
||
|
|
"jazz.00068",
|
||
|
|
"jazz.00069",
|
||
|
|
"jazz.00070",
|
||
|
|
"jazz.00071",
|
||
|
|
"jazz.00072",
|
||
|
|
"metal.00002",
|
||
|
|
"metal.00003",
|
||
|
|
"metal.00005",
|
||
|
|
"metal.00021",
|
||
|
|
"metal.00024",
|
||
|
|
"metal.00035",
|
||
|
|
"metal.00046",
|
||
|
|
"metal.00047",
|
||
|
|
"metal.00048",
|
||
|
|
"metal.00049",
|
||
|
|
"metal.00050",
|
||
|
|
"metal.00051",
|
||
|
|
"metal.00052",
|
||
|
|
"metal.00053",
|
||
|
|
"metal.00054",
|
||
|
|
"metal.00055",
|
||
|
|
"metal.00056",
|
||
|
|
"metal.00057",
|
||
|
|
"metal.00059",
|
||
|
|
"metal.00060",
|
||
|
|
"metal.00061",
|
||
|
|
"metal.00062",
|
||
|
|
"metal.00063",
|
||
|
|
"metal.00064",
|
||
|
|
"metal.00065",
|
||
|
|
"metal.00066",
|
||
|
|
"metal.00069",
|
||
|
|
"metal.00071",
|
||
|
|
"metal.00072",
|
||
|
|
"metal.00079",
|
||
|
|
"metal.00080",
|
||
|
|
"metal.00084",
|
||
|
|
"metal.00086",
|
||
|
|
"metal.00089",
|
||
|
|
"metal.00090",
|
||
|
|
"metal.00091",
|
||
|
|
"metal.00092",
|
||
|
|
"metal.00093",
|
||
|
|
"metal.00094",
|
||
|
|
"metal.00095",
|
||
|
|
"metal.00096",
|
||
|
|
"metal.00097",
|
||
|
|
"metal.00098",
|
||
|
|
"metal.00099",
|
||
|
|
"pop.00002",
|
||
|
|
"pop.00003",
|
||
|
|
"pop.00004",
|
||
|
|
"pop.00005",
|
||
|
|
"pop.00006",
|
||
|
|
"pop.00007",
|
||
|
|
"pop.00008",
|
||
|
|
"pop.00009",
|
||
|
|
"pop.00011",
|
||
|
|
"pop.00012",
|
||
|
|
"pop.00016",
|
||
|
|
"pop.00017",
|
||
|
|
"pop.00018",
|
||
|
|
"pop.00019",
|
||
|
|
"pop.00020",
|
||
|
|
"pop.00023",
|
||
|
|
"pop.00024",
|
||
|
|
"pop.00025",
|
||
|
|
"pop.00026",
|
||
|
|
"pop.00027",
|
||
|
|
"pop.00028",
|
||
|
|
"pop.00029",
|
||
|
|
"pop.00031",
|
||
|
|
"pop.00032",
|
||
|
|
"pop.00033",
|
||
|
|
"pop.00034",
|
||
|
|
"pop.00035",
|
||
|
|
"pop.00036",
|
||
|
|
"pop.00038",
|
||
|
|
"pop.00039",
|
||
|
|
"pop.00040",
|
||
|
|
"pop.00041",
|
||
|
|
"pop.00042",
|
||
|
|
"pop.00044",
|
||
|
|
"pop.00046",
|
||
|
|
"pop.00049",
|
||
|
|
"pop.00050",
|
||
|
|
"pop.00080",
|
||
|
|
"pop.00097",
|
||
|
|
"pop.00098",
|
||
|
|
"pop.00099",
|
||
|
|
"reggae.00000",
|
||
|
|
"reggae.00001",
|
||
|
|
"reggae.00002",
|
||
|
|
"reggae.00004",
|
||
|
|
"reggae.00006",
|
||
|
|
"reggae.00009",
|
||
|
|
"reggae.00011",
|
||
|
|
"reggae.00012",
|
||
|
|
"reggae.00014",
|
||
|
|
"reggae.00015",
|
||
|
|
"reggae.00016",
|
||
|
|
"reggae.00017",
|
||
|
|
"reggae.00018",
|
||
|
|
"reggae.00019",
|
||
|
|
"reggae.00020",
|
||
|
|
"reggae.00021",
|
||
|
|
"reggae.00022",
|
||
|
|
"reggae.00023",
|
||
|
|
"reggae.00024",
|
||
|
|
"reggae.00025",
|
||
|
|
"reggae.00026",
|
||
|
|
"reggae.00027",
|
||
|
|
"reggae.00028",
|
||
|
|
"reggae.00029",
|
||
|
|
"reggae.00030",
|
||
|
|
"reggae.00031",
|
||
|
|
"reggae.00032",
|
||
|
|
"reggae.00042",
|
||
|
|
"reggae.00043",
|
||
|
|
"reggae.00044",
|
||
|
|
"reggae.00045",
|
||
|
|
"reggae.00049",
|
||
|
|
"reggae.00050",
|
||
|
|
"reggae.00051",
|
||
|
|
"reggae.00054",
|
||
|
|
"reggae.00055",
|
||
|
|
"reggae.00056",
|
||
|
|
"reggae.00057",
|
||
|
|
"reggae.00058",
|
||
|
|
"reggae.00059",
|
||
|
|
"reggae.00060",
|
||
|
|
"reggae.00063",
|
||
|
|
"reggae.00069",
|
||
|
|
"rock.00000",
|
||
|
|
"rock.00001",
|
||
|
|
"rock.00002",
|
||
|
|
"rock.00003",
|
||
|
|
"rock.00004",
|
||
|
|
"rock.00005",
|
||
|
|
"rock.00006",
|
||
|
|
"rock.00007",
|
||
|
|
"rock.00008",
|
||
|
|
"rock.00009",
|
||
|
|
"rock.00016",
|
||
|
|
"rock.00017",
|
||
|
|
"rock.00018",
|
||
|
|
"rock.00019",
|
||
|
|
"rock.00020",
|
||
|
|
"rock.00021",
|
||
|
|
"rock.00022",
|
||
|
|
"rock.00023",
|
||
|
|
"rock.00024",
|
||
|
|
"rock.00025",
|
||
|
|
"rock.00026",
|
||
|
|
"rock.00057",
|
||
|
|
"rock.00058",
|
||
|
|
"rock.00059",
|
||
|
|
"rock.00060",
|
||
|
|
"rock.00061",
|
||
|
|
"rock.00062",
|
||
|
|
"rock.00063",
|
||
|
|
"rock.00064",
|
||
|
|
"rock.00065",
|
||
|
|
"rock.00066",
|
||
|
|
"rock.00067",
|
||
|
|
"rock.00068",
|
||
|
|
"rock.00069",
|
||
|
|
"rock.00070",
|
||
|
|
"rock.00091",
|
||
|
|
"rock.00092",
|
||
|
|
"rock.00093",
|
||
|
|
"rock.00094",
|
||
|
|
"rock.00095",
|
||
|
|
"rock.00096",
|
||
|
|
"rock.00097",
|
||
|
|
"rock.00098",
|
||
|
|
"rock.00099",
|
||
|
|
]
|
||
|
|
|
||
|
|
filtered_valid = [
|
||
|
|
"blues.00000",
|
||
|
|
"blues.00001",
|
||
|
|
"blues.00002",
|
||
|
|
"blues.00003",
|
||
|
|
"blues.00004",
|
||
|
|
"blues.00005",
|
||
|
|
"blues.00006",
|
||
|
|
"blues.00007",
|
||
|
|
"blues.00008",
|
||
|
|
"blues.00009",
|
||
|
|
"blues.00010",
|
||
|
|
"blues.00011",
|
||
|
|
"blues.00050",
|
||
|
|
"blues.00051",
|
||
|
|
"blues.00052",
|
||
|
|
"blues.00053",
|
||
|
|
"blues.00054",
|
||
|
|
"blues.00055",
|
||
|
|
"blues.00056",
|
||
|
|
"blues.00057",
|
||
|
|
"blues.00058",
|
||
|
|
"blues.00059",
|
||
|
|
"blues.00060",
|
||
|
|
"classical.00000",
|
||
|
|
"classical.00001",
|
||
|
|
"classical.00002",
|
||
|
|
"classical.00003",
|
||
|
|
"classical.00004",
|
||
|
|
"classical.00005",
|
||
|
|
"classical.00006",
|
||
|
|
"classical.00007",
|
||
|
|
"classical.00008",
|
||
|
|
"classical.00009",
|
||
|
|
"classical.00010",
|
||
|
|
"classical.00068",
|
||
|
|
"classical.00069",
|
||
|
|
"classical.00070",
|
||
|
|
"classical.00071",
|
||
|
|
"classical.00072",
|
||
|
|
"classical.00073",
|
||
|
|
"classical.00074",
|
||
|
|
"classical.00075",
|
||
|
|
"classical.00076",
|
||
|
|
"country.00000",
|
||
|
|
"country.00001",
|
||
|
|
"country.00002",
|
||
|
|
"country.00003",
|
||
|
|
"country.00004",
|
||
|
|
"country.00005",
|
||
|
|
"country.00006",
|
||
|
|
"country.00007",
|
||
|
|
"country.00009",
|
||
|
|
"country.00010",
|
||
|
|
"country.00011",
|
||
|
|
"country.00012",
|
||
|
|
"country.00013",
|
||
|
|
"country.00014",
|
||
|
|
"country.00015",
|
||
|
|
"country.00016",
|
||
|
|
"country.00017",
|
||
|
|
"country.00018",
|
||
|
|
"country.00027",
|
||
|
|
"country.00041",
|
||
|
|
"country.00042",
|
||
|
|
"country.00045",
|
||
|
|
"country.00049",
|
||
|
|
"disco.00000",
|
||
|
|
"disco.00002",
|
||
|
|
"disco.00003",
|
||
|
|
"disco.00004",
|
||
|
|
"disco.00006",
|
||
|
|
"disco.00007",
|
||
|
|
"disco.00008",
|
||
|
|
"disco.00009",
|
||
|
|
"disco.00010",
|
||
|
|
"disco.00011",
|
||
|
|
"disco.00012",
|
||
|
|
"disco.00013",
|
||
|
|
"disco.00014",
|
||
|
|
"disco.00046",
|
||
|
|
"disco.00048",
|
||
|
|
"disco.00052",
|
||
|
|
"disco.00067",
|
||
|
|
"disco.00068",
|
||
|
|
"disco.00072",
|
||
|
|
"disco.00075",
|
||
|
|
"disco.00090",
|
||
|
|
"disco.00095",
|
||
|
|
"hiphop.00081",
|
||
|
|
"hiphop.00082",
|
||
|
|
"hiphop.00083",
|
||
|
|
"hiphop.00084",
|
||
|
|
"hiphop.00085",
|
||
|
|
"hiphop.00086",
|
||
|
|
"hiphop.00087",
|
||
|
|
"hiphop.00088",
|
||
|
|
"hiphop.00089",
|
||
|
|
"hiphop.00090",
|
||
|
|
"hiphop.00091",
|
||
|
|
"hiphop.00092",
|
||
|
|
"hiphop.00093",
|
||
|
|
"hiphop.00094",
|
||
|
|
"hiphop.00095",
|
||
|
|
"hiphop.00096",
|
||
|
|
"hiphop.00097",
|
||
|
|
"hiphop.00098",
|
||
|
|
"jazz.00002",
|
||
|
|
"jazz.00003",
|
||
|
|
"jazz.00004",
|
||
|
|
"jazz.00005",
|
||
|
|
"jazz.00006",
|
||
|
|
"jazz.00007",
|
||
|
|
"jazz.00008",
|
||
|
|
"jazz.00009",
|
||
|
|
"jazz.00010",
|
||
|
|
"jazz.00025",
|
||
|
|
"jazz.00026",
|
||
|
|
"jazz.00027",
|
||
|
|
"jazz.00028",
|
||
|
|
"jazz.00029",
|
||
|
|
"jazz.00030",
|
||
|
|
"jazz.00031",
|
||
|
|
"jazz.00032",
|
||
|
|
"metal.00000",
|
||
|
|
"metal.00001",
|
||
|
|
"metal.00006",
|
||
|
|
"metal.00007",
|
||
|
|
"metal.00008",
|
||
|
|
"metal.00009",
|
||
|
|
"metal.00010",
|
||
|
|
"metal.00011",
|
||
|
|
"metal.00016",
|
||
|
|
"metal.00017",
|
||
|
|
"metal.00018",
|
||
|
|
"metal.00019",
|
||
|
|
"metal.00020",
|
||
|
|
"metal.00036",
|
||
|
|
"metal.00037",
|
||
|
|
"metal.00068",
|
||
|
|
"metal.00076",
|
||
|
|
"metal.00077",
|
||
|
|
"metal.00081",
|
||
|
|
"metal.00082",
|
||
|
|
"pop.00010",
|
||
|
|
"pop.00053",
|
||
|
|
"pop.00055",
|
||
|
|
"pop.00058",
|
||
|
|
"pop.00059",
|
||
|
|
"pop.00060",
|
||
|
|
"pop.00061",
|
||
|
|
"pop.00062",
|
||
|
|
"pop.00081",
|
||
|
|
"pop.00083",
|
||
|
|
"pop.00084",
|
||
|
|
"pop.00085",
|
||
|
|
"pop.00086",
|
||
|
|
"reggae.00061",
|
||
|
|
"reggae.00062",
|
||
|
|
"reggae.00070",
|
||
|
|
"reggae.00072",
|
||
|
|
"reggae.00074",
|
||
|
|
"reggae.00076",
|
||
|
|
"reggae.00077",
|
||
|
|
"reggae.00078",
|
||
|
|
"reggae.00085",
|
||
|
|
"reggae.00092",
|
||
|
|
"reggae.00093",
|
||
|
|
"reggae.00094",
|
||
|
|
"reggae.00095",
|
||
|
|
"reggae.00096",
|
||
|
|
"reggae.00097",
|
||
|
|
"reggae.00098",
|
||
|
|
"reggae.00099",
|
||
|
|
"rock.00038",
|
||
|
|
"rock.00049",
|
||
|
|
"rock.00050",
|
||
|
|
"rock.00051",
|
||
|
|
"rock.00052",
|
||
|
|
"rock.00053",
|
||
|
|
"rock.00054",
|
||
|
|
"rock.00055",
|
||
|
|
"rock.00056",
|
||
|
|
"rock.00071",
|
||
|
|
"rock.00072",
|
||
|
|
"rock.00073",
|
||
|
|
"rock.00074",
|
||
|
|
"rock.00075",
|
||
|
|
"rock.00076",
|
||
|
|
"rock.00077",
|
||
|
|
"rock.00078",
|
||
|
|
"rock.00079",
|
||
|
|
"rock.00080",
|
||
|
|
"rock.00081",
|
||
|
|
"rock.00082",
|
||
|
|
"rock.00083",
|
||
|
|
"rock.00084",
|
||
|
|
"rock.00085",
|
||
|
|
]
|
||
|
|
|
||
|
|
|
||
|
|
URL = "http://opihi.cs.uvic.ca/sound/genres.tar.gz"
|
||
|
|
FOLDER_IN_ARCHIVE = "genres"
|
||
|
|
_CHECKSUMS = {
|
||
|
|
"http://opihi.cs.uvic.ca/sound/genres.tar.gz": "24347e0223d2ba798e0a558c4c172d9d4a19c00bb7963fe055d183dadb4ef2c6"
|
||
|
|
}
|
||
|
|
|
||
|
|
|
||
|
|
def load_gtzan_item(fileid: str, path: str, ext_audio: str) -> Tuple[Tensor, str]:
|
||
|
|
"""
|
||
|
|
Loads a file from the dataset and returns the raw waveform
|
||
|
|
as a Torch Tensor, its sample rate as an integer, and its
|
||
|
|
genre as a string.
|
||
|
|
"""
|
||
|
|
# Filenames are of the form label.id, e.g. blues.00078
|
||
|
|
label, _ = fileid.split(".")
|
||
|
|
|
||
|
|
# Read wav
|
||
|
|
file_audio = os.path.join(path, label, fileid + ext_audio)
|
||
|
|
waveform, sample_rate = torchaudio.load(file_audio)
|
||
|
|
|
||
|
|
return waveform, sample_rate, label
|
||
|
|
|
||
|
|
|
||
|
|
class GTZAN(Dataset):
|
||
|
|
"""*GTZAN* :cite:`tzanetakis_essl_cook_2001` dataset.
|
||
|
|
|
||
|
|
Note:
|
||
|
|
Please see http://marsyas.info/downloads/datasets.html if you are planning to use
|
||
|
|
this dataset to publish results.
|
||
|
|
|
||
|
|
Note:
|
||
|
|
As of October 2022, the download link is not currently working. Setting ``download=True``
|
||
|
|
in GTZAN dataset will result in a URL connection error.
|
||
|
|
|
||
|
|
Args:
|
||
|
|
root (str or Path): Path to the directory where the dataset is found or downloaded.
|
||
|
|
url (str, optional): The URL to download the dataset from.
|
||
|
|
(default: ``"http://opihi.cs.uvic.ca/sound/genres.tar.gz"``)
|
||
|
|
folder_in_archive (str, optional): The top-level directory of the dataset.
|
||
|
|
download (bool, optional):
|
||
|
|
Whether to download the dataset if it is not found at root path. (default: ``False``).
|
||
|
|
subset (str or None, optional): Which subset of the dataset to use.
|
||
|
|
One of ``"training"``, ``"validation"``, ``"testing"`` or ``None``.
|
||
|
|
If ``None``, the entire dataset is used. (default: ``None``).
|
||
|
|
"""
|
||
|
|
|
||
|
|
_ext_audio = ".wav"
|
||
|
|
|
||
|
|
def __init__(
|
||
|
|
self,
|
||
|
|
root: Union[str, Path],
|
||
|
|
url: str = URL,
|
||
|
|
folder_in_archive: str = FOLDER_IN_ARCHIVE,
|
||
|
|
download: bool = False,
|
||
|
|
subset: Optional[str] = None,
|
||
|
|
) -> None:
|
||
|
|
|
||
|
|
# super(GTZAN, self).__init__()
|
||
|
|
|
||
|
|
# Get string representation of 'root' in case Path object is passed
|
||
|
|
root = os.fspath(root)
|
||
|
|
|
||
|
|
self.root = root
|
||
|
|
self.url = url
|
||
|
|
self.folder_in_archive = folder_in_archive
|
||
|
|
self.download = download
|
||
|
|
self.subset = subset
|
||
|
|
|
||
|
|
if subset is not None and subset not in ["training", "validation", "testing"]:
|
||
|
|
raise ValueError("When `subset` is not None, it must be one of ['training', 'validation', 'testing'].")
|
||
|
|
|
||
|
|
archive = os.path.basename(url)
|
||
|
|
archive = os.path.join(root, archive)
|
||
|
|
self._path = os.path.join(root, folder_in_archive)
|
||
|
|
|
||
|
|
if download:
|
||
|
|
if not os.path.isdir(self._path):
|
||
|
|
if not os.path.isfile(archive):
|
||
|
|
checksum = _CHECKSUMS.get(url, None)
|
||
|
|
download_url_to_file(url, archive, hash_prefix=checksum)
|
||
|
|
_extract_tar(archive)
|
||
|
|
|
||
|
|
if not os.path.isdir(self._path):
|
||
|
|
raise RuntimeError("Dataset not found. Please use `download=True` to download it.")
|
||
|
|
|
||
|
|
if self.subset is None:
|
||
|
|
# Check every subdirectory under dataset root
|
||
|
|
# which has the same name as the genres in
|
||
|
|
# GTZAN (e.g. `root_dir'/blues/, `root_dir'/rock, etc.)
|
||
|
|
# This lets users remove or move around song files,
|
||
|
|
# useful when e.g. they want to use only some of the files
|
||
|
|
# in a genre or want to label other files with a different
|
||
|
|
# genre.
|
||
|
|
self._walker = []
|
||
|
|
|
||
|
|
root = os.path.expanduser(self._path)
|
||
|
|
|
||
|
|
for directory in gtzan_genres:
|
||
|
|
fulldir = os.path.join(root, directory)
|
||
|
|
|
||
|
|
if not os.path.exists(fulldir):
|
||
|
|
continue
|
||
|
|
|
||
|
|
songs_in_genre = os.listdir(fulldir)
|
||
|
|
songs_in_genre.sort()
|
||
|
|
for fname in songs_in_genre:
|
||
|
|
name, ext = os.path.splitext(fname)
|
||
|
|
if ext.lower() == ".wav" and "." in name:
|
||
|
|
# Check whether the file is of the form
|
||
|
|
# `gtzan_genre`.`5 digit number`.wav
|
||
|
|
genre, num = name.split(".")
|
||
|
|
if genre in gtzan_genres and len(num) == 5 and num.isdigit():
|
||
|
|
self._walker.append(name)
|
||
|
|
else:
|
||
|
|
if self.subset == "training":
|
||
|
|
self._walker = filtered_train
|
||
|
|
elif self.subset == "validation":
|
||
|
|
self._walker = filtered_valid
|
||
|
|
elif self.subset == "testing":
|
||
|
|
self._walker = filtered_test
|
||
|
|
|
||
|
|
def __getitem__(self, n: int) -> Tuple[Tensor, int, str]:
|
||
|
|
"""Load the n-th sample from the dataset.
|
||
|
|
|
||
|
|
Args:
|
||
|
|
n (int): The index of the sample to be loaded
|
||
|
|
|
||
|
|
Returns:
|
||
|
|
Tuple of the following items;
|
||
|
|
|
||
|
|
Tensor:
|
||
|
|
Waveform
|
||
|
|
int:
|
||
|
|
Sample rate
|
||
|
|
str:
|
||
|
|
Label
|
||
|
|
"""
|
||
|
|
fileid = self._walker[n]
|
||
|
|
item = load_gtzan_item(fileid, self._path, self._ext_audio)
|
||
|
|
waveform, sample_rate, label = item
|
||
|
|
return waveform, sample_rate, label
|
||
|
|
|
||
|
|
def __len__(self) -> int:
|
||
|
|
return len(self._walker)
|