PrometheusのRemoteWriteがんばり過ぎ問題と最近の関連パラメータ更新について

SampleAgeLimitというのがmainにマージされたのを観測したのでちょっと歴史を含めてメモしておくという雑記事です。 三行 1) 2.11.0 / 2019-07-09 MaxRetriesが削除された 2) 2.32.0 / 2021-12-09 MaxBackoffが100msから5secに変更 3) xxx / 2024-01-05 Samp…

IaC、あるいはインフラ抽象化レイヤー導入時に考えたらいいんじゃないかと思うことを雑多に書く

この記事はSRE Advent Calendar 2023の4日目の記事です。 qiita.com 3日目は@myu_mxさんのゆるやか成長スタートアップの小さなEnabling SRE的活動でした。 久々のアドカレ参加ですが、少し思いの丈に任せてみようということで経験と主観が強めの記事です。 …

SRE NEXT 2023で「Runbookに何を書き、どのようにアラートを振り分けるか?」というお話をしました

sre

登壇&参加記事です 今までのあらすじ(ずっとアラートの話してる気がする) 今回の発表まわりの蛇足 セッション ギークがイオンに飛び込んだ結果がやばい〜Reliabilityと経営〜 LINEスタンプのSREing事例集:大量のスパイクアクセスを捌くためのSREing エン…

ITエンジニア男育休時のちょいTipsとか買ってよかったやつとか

こちらを最近読んで takumif.hatenablog.com 一年前の記事ですがめちゃよくまっていてすばらしいですね。 当時子が産まれるちょい前くらいのタイミングで男性育児系の記事いくつか読んだのだけどこれ読んでなかったなと思ったら時期が微妙にずれていたのでし…

LinuxにおけるMonitoringツールごとの使用メモリ算出いろいろ2023

サマリ Linuxにおいて使用メモリの情報はだいたい/proc/meminfoの情報から計算されるが、計算式にゆらぎがあって異なるツールやSaaSエージェントを使うと結果が異なることがあるので故あって調べた ダッシュボードの表示とfree(1)の結果が異なるなど 2023現…

SRE NEXT 2022で「プロダクション環境の信頼性を損ねず観測する技術」というお話をしました

sre

登壇&参加エントリです。 ややエモよりになる予定。 当日の体験については他の登壇者の皆様とも少しお話したんですが、完全に馬場さんのエントリに書かれている点と同じ感想であり(事前収録は当日落ち着けてよい、参加者としてのZoom Event体験はかなり良…

オンコールアラートアンチパターン

オンコールアラートを設定しようと考えた際に考慮すべき点を自分なりにアンチパターンとしてまとめたなにかです。 ホワイトボックスモニタリングにより得られたメトリクス、ログなどからアラーティングを行う、または併用する環境を想定しています、ブラック…

各ディストリビューションのsystemd-resolve状況調査2022

Lightsailで提供されているamiで使いそうなものをざっと確認 ubuntu 20.04(kernel5.4) systemd-resoveがデフォルトで動いていてsystemd-resolveとresolvectlが両方いる $ systemctl --version systemd 245 (245.4-4ubuntu3.1) +PAM +AUDIT +SELINUX +IMA +AP…

sysload exporterを実装してみた

タイトルままということで。 github.com goでゼロからexporterを書こう、sysloadの実装を今更ながら把握しておこうというモチベーションのもとsysloadをprometheusのexporterとして実装してみました。 dashboard image Dashboardも公開しているの動かして見…

eBPF Summit 2021

今年はDay1のみリアタイ参戦したのでいくつかセッションのメモを。 内容は全部見ればわかるやろ程度ではあるもののまあポインタ程度の情報でもないよりは良いのではということで感想交えて雑に書いてみようという感じのやつです。 動画はすでに上がっていて…

WFH2021

WorkFromHomeなスタイルが本格化して1年近くなり、数々のプラクティスやイケてる超絶スタイリッシュなデスクに憧れをいだきつつも全然そこまでではない、しかし開始時よりは良いQoLを目指し幾分整った感のある弊WFH環境を書いてみるやつ。 開始時からの変化…

Process ExporterとTreemap for Grafanaでプロセスごとのメモリ使用量をざっくり可視化する

タイトルまま。 いい加減Grafana力を高めようと最近Grafonnetに入門し、Process Exporterをソースとした有益なダッシュボードを作りたいなーとあれこれ試していた過程でTreemapプラグインを発見し、Datadogで以前みかけたメモリマップみたいなビュー作ったら…

2020

特に技術的な話でもないやつ、あまりに書く意味あるのみたいなことを書くのもどうかという気持ちになるくらいおっさんになったものの、まあなんかたまにはええやろというのと、そもそもかつてインターネッツはそういうところだったよね、という気分になった…

eBPF+USDTでphpをトレースしてみる、php-fpmとmod-phpでもやる

前回から気づけばだいぶ経過してましたが dasalog.hatenablog.jp 実際phpスクリプトが動いてる環境はmod-phpであったりphp-fpmであったりするので、そのあたりは結局動かせておらず このあたりも試してみたのでいちおう記録として。 個人的な環境のアレによ…

eBPF+USDTでphpをトレースしてみる、bpftaceとRbBCCでやる

最近プロダクション環境での諸々の調査に使いたいというモチベーションで BPF Performance Tools (Book) 読み進めつつ、提供されているbcc-toolsを試したりbpftraceでlibほげほげの関数パラメータを抜いたりしていた、のだがUSDTを使用したトレースはうまく…

ホームページのメンテナンスをして大体15年目になった話

ウェブサイトというかホームページという方がしっくり来るよねというタイトルで。 技術的なものはなし。 高校からの友人でジャズギタリストである佐津間純のサイトを2005年に作成し、引っ越し、リニューアルなどを経て大体15年目になった。 現状は言ってしま…

インスタンス内からAmazon Lightsailの裏側を想像してみる(小ネタ)

タイトルどおり特にこれといって役に立つお話ではないのですがなんとなく気になって色々見てみた小ネタ。 きっかけは、Lightsailで起動したubuntuインスタンス内でsnapで入ってるssm-agentが動いており、なんとなく見始めたところから。 TL;DR Lightsailの実…

QNAP NAS上でnode_exporterをデーモン化しつつ自動起動

前回prometheus+grafanaを導入してNASのモニタリングも開始してみた、の続きで dasalog.hatenablog.jp 雑に起動していたQNAP NAS上のnode_exporterをNAS再起動時に自動起動するようにする小ネタ。 やること 雑いinitスクリプト書く /etc/config/qpkg.confに…

prometheus+grafanaで各種サーバとついでにQNAP NASの状態を可視化する

お仕事柄サーバの監視システムを管理、運用しているものの自鯖の監視は適当に導入したmuninやmackerelにお任せという状態だったので、きちんと1から構築してみよう、ということでprometheus+grafanaを導入しつつ、ついでに自宅に置いてるNASのメトリクス取得…

gdbで死んでるphpプロセスから諸々の情報を得るメモ

手法は色々出回っているがちょうど某サービスでcronジョブの途中でお亡くなりになっているプロセスがいるので便利コマンドを試しておく。 環境 php -v PHP 5.5.8 (cli) (built: Feb 4 2014 16:57:24) $ gdb -v GNU gdb (GDB) Red Hat Enterprise Linux (7.2-…

Amazon EchoのAlexaスキル開発で地味にはまったところをメモしておく

解決してしまえば大したことないが時間がもったいない系の色々 対話モデルの設定でサンプル発話のスロット前後にスペースがないとエラーになる問題 エラー AddHomeShoppingIntent {Item}を追加 Error: There was a problem with your request: Parsing error…

nodejsのsslまわりメモ

自鯖に設定したLets'e EncryptのSSL証明書の設定をミスっていて(おそらく中間証明書が設定できておらず)、だいぶ回り道をしたが、折角なのでメモを残しておく。 nodeが使うroot証明書はハードコードされてる。拡張方法が提供されるっぽいやりとりされてい…

certbot設定メモ

諸事情により取得していたrapidsslの証明書の有効期限が切れたのでletsencryptに切り替えたメモ。 大体公式とこちらの記事参考でなんとかなった。 https://certbot.eff.org/ CentOSにLet's EncryptのSSL証明書を導入する - オープンソースこねこね apacheを…

土善旅館を激推しする

土善旅館を激推しします。