国境大好き芸人

旅行と語学ととプログラミング。陸路で国境を越えるのが生きがいです。

プログラミング

PythonでGoogleの検索結果をスクレイピングする方法

Googleの検索結果からタイトル、URL、ディスクリプションを取り出すPythonを使って、Googleの検索結果を取り出したいと思います。Googleの検索結果をスクレイピングすることで、例えば・自分のサイトの表示順位を定点で観測する ・上位サイトのキーワードを…

psycopg2でPythonからPostgreSQLに接続する

Anaconda Prompotでpsycopg2をインストールする方法です。 ついでにSQLAlchemyも入れておく。 conda install --yes --quiet 'psycopg2=2.6*' conda install --yes --quiet -c sodre 'ipython-sql=0.3*'これでJupyter NotebookからPostgreSQLをいじれるように…

【R言語】decomposeで時系列データの要素を分解してみる

移転しました。 // "); // リダイレクト処理 setTimeout("redirect()", 0001); // 5秒 function redirect(){ location.href = url; } // 移行を伝える「canonical」の書き換え var link = document.getElementsByTagName("link")[0]; link.href = url; // ]]>

【Python】新聞記事をスクレイピングして見出しを取り出す

台湾の新聞、蘋果日報のネット版から見出しを取り出す処理を考えてみます。 スクレイピングするのはこのサイトです。 https://tw.entertainment.appledaily.com/daily/ まずはライブラリをインポート。 import requests from bs4 import BeautifulSoup 上記…

機械学習やるためにPython始めました【プログラミング】

業務効率化のために手を出したプログラミングですが機械学習楽しいですね こんばんは!ktymです。 仕事で大量の数十万行のCSVファイルを扱うことがあって、ExcelやAccessで処理しきれない!どうしよう!という課題解決のために始めたプログラミングですが、 …

【R言語】現在のディレクトリを変更する方法(RStudio)

移転しました。 // "); // リダイレクト処理 setTimeout("redirect()", 0001); // 5秒 function redirect(){ location.href = url; } // 移行を伝える「canonical」の書き換え var link = document.getElementsByTagName("link")[0]; link.href = url; // ]]>

【R言語】フォルダ内のすべてのCSVファイルを一括で取り込み結合する方法

移転しました。 // "); // リダイレクト処理 setTimeout("redirect()", 0001); // 5秒 function redirect(){ location.href = url; } // 移行を伝える「canonical」の書き換え var link = document.getElementsByTagName("link")[0]; link.href = url; // ]]>

【R言語】dplyrを使えばExcelの集計作業を代替できてしかも速い!

移転しました。 // "); // リダイレクト処理 setTimeout("redirect()", 0001); // 5秒 function redirect(){ location.href = url; } // 移行を伝える「canonical」の書き換え var link = document.getElementsByTagName("link")[0]; link.href = url; // ]]>

【R言語】CSVの処理でよく使う関数まとめ

R言語でCSVを読み込んでいろいろ処理する時によく使う関数のまとめ CSVファイルを読み込んで集計したり、他のテーブルと組み合わせたり、LEFT JOINしたりなど・・・ まとめます! 文字列の処理 ・数値になおす x このように、xというオブジェクトに文字列と…

R言語を勉強したらExcelでの集計作業がめちゃくちゃ速くなった

Excelで扱いきれない大規模なデータをR言語で処理する こんばんは。いつもは台湾ネタが多いのですが、今回からプログラミングについても記事を書こうかなと思います。 ちなみに私は全くのプログラミング初心者ですので、そのあたりご容赦ください。間違った…