curlの使い方

今回は、番外編としてMac OS Xに標準で装備されているコマンド「 curl 」の使い方について解説します。直接Cocoaとは関係ありませんが、インターネットにアクセスする様々な機能がついているので、知っていると便利です。蛇足ですが、拙作「 Now Playing 」では、FTPや.macへのアップロードでcurlを使っています。

推奨環境この解説は、以下の環境を前提に作成し、動作確認等を行っています。ご確認ください。

Mac OS X 10.3.2
curl 7.10.2

改版履歴

1 : 2004.02.20 : 新規作成

Mac OS Xには、「 curl 」という「 HTTPやFTPでのダウンロードやアップロードする 」ための様々な機能を持ったコマンドが標準装備されています。まず、ターミナルアプリケーションを起動して、

と入力してみましょう。GoogleのサイトのHTMLがターミナルのウィンドウ内に表示されたはずです。つまり、「 http://www.google.com/ にアクセスし、コンテンツのHTMLをダウンロードし、標準出力へ出力」という処理を行ったわけです。Webブラウザで実行すると面倒だったりすることの自動化とか、Cocoaアプリから呼び出したりなどの応用が可能です。以下では、よく使用する機能についてチュートリアル形式で解説していきます。

表示するのではなくてファイルに保存するには「 -O 」オプションを付けます ( アルファベットのオーです )。

こうすると、「 yjtv.gif 」というファイルができます。既に、同名のファイルがあると上書きされてしまいますので注意が必要です。また、「 http://www.google.com/ 」のようにファイル名が無いURLの場合は、ファイルが作成されません。

「 --remote-name 」オプションをでも同じです。ハイフンが2つのオプションは、長いですが憶えやすい名前になっています。こちらでも同じ結果になります。

続いて、複数個のファイルを一気にダウンロードする方法です。まず、連番ファイルのダウンロードの方法です。

[1-5] という部分が連番の範囲指定になり、以下の5つを実行したのと同じ結果が得られます。URL全体をダブルクオートで囲まないとエラーになりますので注意。

curl -O "http://www.hoge.com/1.jpg"

curl -O "http://www.hoge.com/2.jpg"

curl -O "http://www.hoge.com/3.jpg"

curl -O "http://www.hoge.com/4.jpg"

curl -O "http://www.hoge.com/5.jpg"

数字の先頭にゼロを付ける記述もできます。以下のように書くと「 01, 02, ... , 09, 10 」に展開されます。

数字でなく文字での指定も可能です。[a-c] と書くと「 a, b, c 」に展開されます。[a-Z] とか [aa-bb] のような記述はできないようで、展開されず、そのままのURLとして指定されます。範囲指定ではなく、複数指定という方法もあります。

{1,3,5} という部分が範囲指定になり、以下の3つを実行したのと同じ結果が得られます。

文字列も指定できます。

以下の3つに展開されます。最初の文字列が空になっていますが、こういう指定も可能です。

curl -O "http://www.hoge.com/image.jpg"

curl -O "http://www.hoge.com/image_big.jpg"

curl -O "http://www.hoge.com/image_small.jpg"

さらに複雑な指定も可能です。

これは、「 a1, a2, b1, b2 」と展開されます。

-Oオプションでは、URLからファイル名が決まっていましたが、自由にファイル名を付けることも可能です。「 -o 」オプションを使用します(アルファベットのオーです)。

こうすることで「 google.html 」というファイルへ出力されます。複数ファイルのダウンロードを指定している場合は、それぞれで別のファイル名にならないと困りますが、その指定法もあります。

これは、以下のように展開されます。

curl -o image_001.jpg "http://www.hoge.com/001.jpg"

curl -o image_002.jpg "http://www.hoge.com/002.jpg"

curl -o image_003.jpg "http://www.hoge.com/003.jpg"

つまり、出力先のファイル名のところの「 #1 」が [1-3] を展開した内容と置き換わるわけです。以下のように、複数指定が複数ある場合もあるので「 # 」の後に数字が必要です。「 #1 」が [001-002] に対応し、「 #2 」が {big,small} に対応します。

このように展開されます。

curl -o image_001big.jpg   "http://www.hoge.com/001big.jpg"

curl -o image_001small.jpg "http://www.hoge.com/001small.jpg"

curl -o image_002big.jpg   "http://www.hoge.com/002big.jpg"

curl -o image_002small.jpg "http://www.hoge.com/002small.jpg"

サーバからファイルをダウンロードした際に、サーバ上でのファイルのタイムスタンプ(更新日時)が取得できた場合、ダウンロードしたファイルのタイムスタンプも同じ値をセットするように指定します。指定しなかった場合や、サーバからタイムスタンプが取得できなかった場合、ダウンロードしたときの日時がタイムスタンプになります。

curlでGoogle ( http://www.google.com/ ) にアクセスすると分かりますが、別のページに飛ばされます。HTTPには、別のページへ飛ばすためのいくつかの方法がありますが、その指定に従って飛んでいくには、「 -L 」を書いておきます。特別なことが無い限りは、常に書いておいた方がよいでしょう。

リダイレクトは、複数回行われることがあります。不具合か悪意のあるサイトでは、リダイレクトを永久に繰り返してしまう可能性がありますので、最大回数を指定することができます。

ダウンロードするときに、ファイルの一部を指定してダウンロードすることができます。大きなファイルを分割してダウンロードするなどのときに使用します。

ファイルの先頭位置を0として、どの範囲をダウンロードするかをバイト単位で指定します。この例では、ファイルの先頭の10byteをダウンロードします。別の範囲を同じファイルにダウンロードしても、ファイルは連結されずに上書きされますので注意。また、これは、部分指定のダウンロードをサーバ側でサポートしている必要があります。HTTP 1.1のサーバならば対応しています。

ダウンロード途中でサーバとの接続が切れてしまったときなどに、切れたところから後の部分をダウンロードを再開することもできます。このオプションの場合は、ダウンロード済みのファイルに追加で書き込まれます。ファイルの先頭を0として、ダウンロードを再開する位置をバイト単位で指定します。

会員制のページなどで認証ダイアログが表示されるサイトでは、ユーザIDとパスワードの指定をする必要があります。「 -u 」オプションで、ユーザIDとパスワードをコロンで繋げて書きます。通信に流すときは、BASE64というデータにエンコードを行いますが、このエンコード処理はcurl側で行います。ユーザIDとパスワードはそのまま書くだけでよいです。

パスワードを省略すると、ターミナル上でcurlからパスワード入力を求められます。

クッキーを送信してくるサイトの場合、次回のアクセスでそのクッキーを必要とするところもあります。そのクッキーを保存するためには「 -c 」オプションを使います。「 -c cookie.txt 」のように保存先のファイル名を書いておきます。

ファイルへ保存したクッキーを送信する場合は、「 -b 」オプションを使用します。後ろにクッキーが保存されているファイルを指定します。

Webブラウザでサイトにアクセスする際には、ジャンプ元のURLであるリファラーを一般に知らせます。curlは、Webブラウザではないので、ジャンプ元そのものが存在しないので、オプションで指定することになります。

Webサーバにアクセスする際、クライアントの名前や情報 (ユーザエージェント) を送信します。curlの場合は以下のような文字列を送っています。

これを自由に変更することができます。「 -A 」オプションを使います。curlを使ったダウンローダソフトとかの場合は、適切な名前に変更するとよいでしょう。

HTTPのリクエストヘッダーに特殊なフィールドを追加したり、curlの送信しているフィールドの中身を変更したり、削除することができます。追加する場合は以下のようにします。

変更する場合は、以下のようにします。

削除する場合は、以下のように値のところを空にします。

ただし、curlが出力しているフィールドを変更する場合は、その意味をよく理解した上で行ってください。

Webページ上のフォームからフォームの送信を行うことと同様のことを行うことができます。「 -d 」オプションを使います。「 -d name=value 」のようにフォームの名前と値をイコールで繋いで指定します。このオプションは複数個指定できます。

このオプションを使うと、POSTコマンドが送信されます。

Webページ上のフォームからファイルのアップロードを行う場合は、このオプションを使用します。「 -F 」オプションの後ろに、ファイルアップロード用のフォームのIDを書いて「 =@ 」の後ろのファイルパスを書きます。

このオプションを使うと、POSTコマンドが送信されます。

サーバへファイルのアップロードする機能もあります。これは、FTPとWebDAVのサーバで使用できます。.macもWebDAVですので利用可能です。「 -T 」オプションで後ろにアップロードしたいファイルのパスを書きます。URLには、アップロード先のパスを書いておきます。また、一般的には、アップロード時には、ユーザIDとパスワードを要求されますので、それも合わせて書くことになるでしょう。

サーバからの転送が遅くて時間がかかりすぎる場合など、特定の時間を過ぎたら転送を中止させることができます。秒で指定します。

サーバへの接続に時間がかかる場合に、特定の時間を過ぎたら接続を中止させることができます。秒で指定します。

データの転送があまりも遅い場合は、あきらめて別のサーバのダウンロードを行いたいというような場合は、このオプションを使用します。指定速度以下の状態が指定時間以上継続した場合に、あきらめます。

「 -Y 」で速度の最小値の値を指定します。単位はbyte/sec。「 -y 」で継続時間を指定します。単位は秒です。

転送経路などに負荷をかけないように、ゆっくりデータ転送を行いたいという場合は、このオプションを使います。指定した速度以上ではダウンロードしなくなります。指定は「 byte/sec 」ですが、「 K, M, G 」を末尾に付けることも可能です。

HTTPプロキシサーバ経由でサーバにアクセスする場合は、「 -x 」オプションを使います。プロキシのIPと必要ならポート番号をコロンで区切って書きます。ポート番号は省略すると1080になります。

ダウンロードするURLをコマンドラインから入力するのではなく、ファイルに書き込んでおいてそれを指定することもできます。例えば、「 config.txt 」というファイルに

と書いておいて、以下のようにすると、config.txtファイルを読み込んで実行を行います。

コンテンツのダウンロード中は細かい情報が表示されますが、これをプログレスバーのみにすることができます。

「 ##### 100.0% 」のようなプログレスバーが表示されます。

HTTPサーバのコンテンツにアクセスしたときのHTTPヘッダーを見るには「 -I 」オプションを使います。

結果は、コンテンツによって異なりますが、例えばこんな感じの情報がターミナル画面に表示されます。

	HTTP/1.1 200 OK

	Date: Sat, 03 Jan 2004 10:29:18 GMT

	Server: Apache/1.3.26 (Unix) PHP/4.3.0

	Last-Modified: Fri, 12 Dec 2003 12:33:56 GMT

	Connection: close

	Content-Type: text/html

curlがサーバにどういうリクエストを送信して、サーバからどういうレスポンスが返ってきているかを見たいことがあります。この場合、「 -v 」オプションを付けておくと、このやり取りを表示することができます。