AWS on Logical Dice 技術ブログ

AWS CLIで複数ファイルに対してS3 Selectで検索する

Thu, 12 Dec 2024 00:00:00 +0000

環境

aws-cli 2.7.14

概要

S3に保存されているCloudFrontのログを検索したかったのですが
Athenaは導入されていなかったのでS3 Selectを使って検索をしました。

S3 Selectは1ファイルずつしか検索できないので、
AWS CLIをシェルに組み込んで複数ファイル検索できるようにしました。

手順

条件は以下とします。

S3バケット名は「target-bucket-name」
「logs-dir」というディレクトリ内に「AABBCCDDEE123456.YYYY-MM-DD-HH.abcdefg・・・」形式でファイルが生成される。
aws cli用のprofileは「my-aws-profile」という名前で設定してある。

できあがったものはこちら。

# ①設定
PROFILE="my-aws-profile"
BUCKET="target-bucket-name"
PREFIX="logs-dir/AABBCCDDEE123456.2024-12-11"    # 左記例では2024年12月11日に出力された分を検索する。
QUERY="SELECT * FROM s3object s"                 # 左記例では全て出力しています。列を絞ったりWHERE句を入れたりしてください。

# ②オブジェクト（ファイル）の一覧取得
objects=`aws s3api list-objects --profile $PROFILE --bucket $BUCKET --prefix $PREFIX | jq`

# ③取得したオブジェクトの一覧に対して1件ずつ処理をする
for object in $(echo "$objects" | jq -c '.Contents[]'); do
  key=$(echo "$object" | jq -r '.Key')
  echo "$key"

  # ④検索結果出力
  aws s3api select-object-content --profile $PROFILE --bucket $BUCKET --key $key --expression "$QUERY" --expression-type SQL --input-serialization '{"CSV": {"FileHeaderInfo": "NONE", "FieldDelimiter": "\t"}, "CompressionType": "GZIP"}' --output-serialization '{"CSV": {"FieldDelimiter": ","}}' output-tmp.csv
  cat output-tmp.csv >> output.csv
done

rm -f output-tmp.csv

①設定

必要な情報を設定してください。

AmazonLinux2023のカーネルをダウングレードする

Sat, 24 Aug 2024 00:00:00 +0000

環境

Amazon Linux 2023.5.20240819

概要

AmazonLinux2023のカーネルをアップグレードしたところ、動作しなくなるツールが出てきてしまったためダウングレードしました。
その操作手順の記録です。

手順

まず、現在のカーネルの状態を確認します。

$uname -r
6.1.102-111.182.amzn2023.x86_64

$ sudo dnf list kernel
kernel.x86_64   6.1.92-99.174 amzn2023     @amazonlinux
kernel.x86_64   6.1.96-102.177.amzn2023    @amazonlinux
kernel.x86_64   6.1.102-111.182.amzn2023   @amazonlinux

現状は6.1.102になっていますが、6.1.96にダウングレードしていきます。

おそらく最短の方法

まず、ダウングレードして再起動します。
「パッケージ名-バージョン」と指定をすることで特定のバージョンに戻れるようです。

$ sudo dnf downgrade kernel-6.1.96-102.177.amzn2023
$ sudo reboot

再起動後、カーネルを確認するとダウングレードできているはずです。

$ uname -r
6.1.96-102.177.amzn2023.x86_64

適用されているバージョンは戻しましたが、最新バージョンのパッケージは残っているので削除しておきます。
こちらも「パッケージ名-バージョン」で特定バージョンのremoveができます。

$ sudo dnf remove kernel-6.1.102-111.182.amzn2023

これでダウングレード完了です。

参考：実際にやった手順

思考錯誤しながらやっていたので結構遠回しをしました。
まず、ダウングレードして再起動します。

$ sudo dnf downgrade kernel
$ sudo reboot

再起動後、カーネルを確認してみます。

$ uname -r
6.1.92-99.174.amzn2023.x86_64

戻りすぎてしまいました。
どうやらバージョン指定をしないと戻れるだけ戻ってしまうようです。

なので、狙いのバージョンにアップデートします。
該当バージョンを一度削除しないとバージョンアップできないので、現バージョンより新しいものは一旦削除します。

$ sudo dnf remove kernel-6.1.96-102.177.amzn2023
$ sudo dnf remove kernel-6.1.102-111.182.amzn2023

アップデートして再起動します。
この際、また新しくなり過ぎないようにreleaseverでOSのバージョンを指定します。
※後で思ったが、kernelのバージョンを指定すれば良いだけだったしれない。

【AWS】MFA(多要素)認証を突破してCodeCommitからgit cloneする

Thu, 06 Jun 2024 00:00:00 +0000

環境

MacBook Pro (Sonoma14.5 M1チップ)
aws-cli/2.15.14
aws-mfa 0.0.12

手順

AWSへのアクセスにMFAが必須である環境においてCodeCommitよりリポジトリをcloneする手順です。
調べても「CodeCommitでMFA不要にする手順」ばかり出てきて手間取ったので、メモを残します。

AWS CLIのインストール

もしAWS CLIが未インストールである場合は以下ページ参考にインストールします。
https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/getting-started-install.html

aws-mfaのインストール

コマンドラインでAWS操作する際にMFA認証を楽にするツールがあります。
https://github.com/broamski/aws-mfa

こちらをpipでインストールします。

$ pip install aws-mfa

AWS認証情報の確認

AWSのマネジメントコンソールにログイン後、ヘッダー右端にあるアカウント名をクリックすると「セキュリテイ認証情報」というメニューが表示されるので選択します。
そこでアカウントの詳細が表示されるので「ユーザーのARN」を控えておきます。

また、もし自分のAWS アクセスキーを発行していない場合はここで発行します。
少し下へスクロールすると「アクセスキーを作成」というボタンがあるのでそこからアクセスキーが発行できます。

AWS CLI向けアクセスキー設定

AWS CLIにprofileを指定してアクセスキーを紐づけます。

『hoge』というプロファイル名で登録したい場合
『hoge』だけではなく『hoge-long-term』というプロファイルも登録します。

まず『hoge-long-term』の登録をします。

$ aws configure --profile hoge-long-term
AWS Access Key ID [None]: XXXXXXXXXXXXXXXXXXXX      (発行したアクセスキー)
AWS Secret Access Key [None]: XXXXXXXXXXXXXXXXXXXX  (発行したアクセスキーに紐づくシークレット)
Default region name [None]: ap-northeast-1          (利用するリージョン 任意)
Default output format [None]: json                  (利用するフォーマット 任意)

次に『hoge』の登録をします。

$ aws configure --profile hoge
AWS Access Key ID [None]:                   (空のまま)
AWS Secret Access Key [None]:               (空のまま)
Default region name [None]: ap-northeast-1  (利用するリージョン 任意)
Default output format [None]: json          (利用するフォーマット 任意)

MFA認証登録

以下のコマンドでMFA認証を通します。
コマンド実行後にMFA code(数字6桁)を聞かれるので入力します。

【AWS】lambdaでparamikoを使ってSFTP通信する

Fri, 03 Nov 2023 00:00:00 +0000

環境

MacBook Air M1チップ
AWS SAM version 1.99.0
python 3.9

手順

他サーバーよりSFTPでファイルを取得する処理を作るためにparamikoを利用します。
AWS lambdaでparamikoを利用するためにレイヤーを利用します。

lambdaのレイヤーはDockerなどを使って構築する方法もありますが
簡易に作成したかったのでAWS SAMを利用してレイヤーの作成をしました。

①AWS SAMをインストールする

Macにて以下コマンドを実行してAWS SAMをインストールします。

$ brew tap aws/tap
$ brew install aws-sam-cli

この記事を書いている時点でインストールできたのはバージョン1.99.0でした。

$ sam --version
SAM CLI, version 1.99.0

②AWS SAM用のファイルを作成する。

以下構成でファイルを作成します。
paramiko-layerディレクトリは変えても良いです。

(current dir)
    ├── paramiko-layer
    │   └── requirements.txt
    └── template.yaml

各ファイルの中身は以下です。

【requirements.txt】
インストールするライブラリを記載します

paramiko

【template.yaml】
ここで記載するContentUriはrequirements.txtを配置しているディレクトリにします。
またpython3.9、x86_64の部分は作成するlambdaに合わせて読み替えてください。

Resources:
  ParamikoLayer:
    Type: AWS::Serverless::LayerVersion
    Properties:
      ContentUri: 'paramiko-layer/'
      CompatibleRuntimes:
        - python3.9
      CompatibleArchitectures:
        - x86_64
    Metadata:
      BuildMethod: python3.9

③レイヤーをビルドする

template.yamlがあるディレクトリにて以下コマンドを実行します。
ParamikoLayerは変えても良いです。

【AWS】LightsailでインドのVPNサーバーを構築する

Tue, 04 Jul 2023 00:00:00 +0000

AWS Lightsailを使ってインドのIPアドレスを使うためのVPNサーバーを構築しました。

【AWS】S3のリダイレクトが効かない

Sun, 29 Jan 2023 00:00:00 +0000

AWS S3のWebホスティングにてリダイレクト設定をしてもCloud Front経由でリクエストを受けるとリダイレクトされない

【AWS】Auto ScalingのインスタンスがInServiceにならない

Tue, 03 May 2022 00:00:00 +0000

Auto Scalingで立ち上がったEC2インスタンスのライフサイクルがInServiceにならなかった時の調査メモです。

EC2とECSのレコードを全てCSVに出力する

Wed, 26 Aug 2020 00:00:00 +0000

AWS のEC2とECSの情報をCSVに出力する方法です

Route53のレコードを全てCSVに出力する

Fri, 21 Aug 2020 00:00:00 +0000

AWS Route53に登録されているホストゾーンとレコードをCSVに出力する方法です

AWS lambdaからDBアクセスも外部アクセスもできるようにする。

Sun, 12 Jul 2020 00:00:00 +0000

AWS lambdaをVPCに入れると普通には外部アクセスできなくなるので、その設定をした際のメモです。

EC2上でオレオレ証明書を作る

Sun, 14 Jun 2020 00:00:00 +0000

最近はめっきり使われなくなったオレオレ証明書を作成する手順です。

AWS S3を使ったリダイレクトの方法

Wed, 10 Jun 2020 00:00:00 +0000

AWSのS3を使ってリダイレクトを設定します。

Serverless Frameworkを使ってLambda & API Gatewayをデプロイする

Tue, 19 May 2020 00:00:00 +0000

試しにServerless Frameworkを使ってLambda & API Gatewayをデプロイしてみた時の手順メモです。

GitHub ActionsでAWS Code Deployを回す

Sun, 15 Mar 2020 00:00:00 +0000

GitHub ActionsからAWS Code Deployを回してデプロイする手順です。

lightsail上に自前でWordpressを構築する(CentOS編)

Tue, 18 Feb 2020 00:00:00 +0000

lightsailのCentOS7上でWordpressを構築する手順です

lightsail上に自前でWordpressを構築する(Amazon Linux編)

Sun, 15 Dec 2019 00:00:00 +0000

bitnamiを利用せずにlightsail上にWordpressを構築する手順です

LightsailにOpenVPNサーバーを立てる

Thu, 25 Jul 2019 00:00:00 +0000

AWSのLightsailにOpenVPNサーバーを立てる手順です。

CircleCIからAWS Code Deployを実行する

Mon, 04 Mar 2019 00:00:00 +0000

S3を使わずCircleCIからAWS Code Deployを実行する方法です

AWS Code DeployでEC2にデプロイする

Thu, 28 Feb 2019 00:00:00 +0000

AWS Code Deployを使ってEC2上にデプロイをした際のメモです。

【Let'sEncrypt】Amazon Linux2でCertbotを使う

Mon, 21 Jan 2019 00:00:00 +0000

Amazon Linux2でCertbotを使う方法です。

Wordpressの画像をS3+CloudFrontで配信する

Tue, 11 Dec 2018 19:30:54 +0000

環境WordPress 4.8.3AWS設定手順IAM設定まず、WordpressとAWSの連携に使うIAMユーザーを準備します…

AWS ELB配下でWordpressを動かす際のSSL対応

Fri, 20 Jul 2018 17:56:57 +0000

■環境AWS ELBAWS EC2Apache 2.2.32Wordpress 4.1.1EC-CUBEではありませんが、内容的…

AWS ELB配下でApacheのRewriteRuleが上手く動かなかった話

Sat, 30 Jun 2018 22:29:41 +0000

■環境AWS ELBAWS EC2Apache 2.2.32AWSのEC2上で動いているApacheサーバーでの話。SEO対策で…

【AWS】新規EC2立ち上げ後の作業メモ

Sun, 12 Nov 2017 01:06:50 +0000

環境AWS EC2Amazon Linuxセキュリティグループ設定SSH接続元やHTTP通信元の設定をする。デフォルトではEC2…