忘れないように記録しとこ

カバの樹

Pythonでダウンロードした画像が壊れているのはgzipのせいかも

完全版を表示する

はじめに

Pythonでスクレイピングをして、画像ダウンロードのテストをしていました。
その中で、特定のサイトからダウンロードしてきた画像だけが全て壊れてしまう現象が発生していました。

 

長い間放置していたのですが、UdemyでAWSの教材をみている時にふと天啓が降ってきました。

画像が壊れてしまう原因は、gzipじゃないだろうか？

 

gzipとは

HTTP 1.1にはデータを圧縮し転送量を減らす機能があるが、gzipはその際の圧縮フォーマットの一つとしても使われている。

出典 - WIKI
https://ja.wikipedia.org/wiki/Gzip

サーバーからクライアントへHTMLやCSSなどの生データを送るより、圧縮した方が早く届きます（容量が少ないので。
その為の圧縮形式の一つがgzipです。

 

Choromeなどのデベロッパーツールを使って、ネットワークを見てもらうと確認することができます。

例えばYahooなどもgzipでHTMLデータを送信しています。

 

最近だとどこのサーバーでも使われているのではないでしょうか？

ところで、このgzipですが画像などには効果が薄いので、使う機会はほとんど無いと思います。
そもそもJPEGなどは予め圧縮されてますしねー。

 

gzipでダウンロード画像が壊れる

さて上で説明した通り、画像にgzipをかけるのは効果が薄いです。

しかし、知ってか知らずか該当のサイトは、画像をgzipかけてました。

 

あちゃー（ノ▽｀;）

確かに予兆はあったんですよね。
ブラウザで直接ダウンロードしてくるのと容量に差があったんですよね。

おそらくPythonでダウンロードしてくると、gzipのファイルをダウンロードしていたんでしょうね。
拡張子が.jpgや.pngなので壊れてた扱いなのかなと。

 

対応

ぐだぐだと話をしてきましたが、対応方法になります。

shutil.copyfileobj  の前に res.raw.decode_content = True を設定しましょう。
これで解凍した画像を保存することができます。

path = r'/Users/admin/Public/project/MyImages/image'
all_images = [
    'https://i1.wp.com/s1.wp.com/wp-content/themes/h4/landing/marketing/pages/hp-jan-2020-v2/media/desktop/desktop-website-v2-2x.jpg?ssl=1',
    'https://i1.wp.com/s1.wp.com/wp-content/themes/h4/landing/marketing/pages/hp-jan-2020-v2/media/desktop/theme-coutoire-2x.jpg?ssl=1',
]

try:
    for index, image in enumerate(all_images):
        filename = "image_" + str(index) + ".jpg"
        local_path = os.path.join(path, filename)
        res = requests.get(image, stream=True)
        with open(local_path, "wb") as file:
            res.raw.decode_content = True
            shutil.copyfileobj(res.raw, file)
except Exception as e:
    print(e)
    print(str(index) + "番目の画像ダウンロードに失敗しました")
    print("画像のURL" + image)

 

 

さいごに

ぐだぐだと偉そうに記事を書きましたが、かなり薄い知識で記事にしています。
gzipの他にbrotliの場合もあるので、デベロッパーツールで都度確認してもらえたら良いと思います。

検討外れなところや、改善出来そうなところがあったら教えてください。

今日はこの辺でー

 

  • B!