【Ltech#20】Kubernetesクラスタバージョンアップを支える技術

655 Views

December 14, 21

kubernetes ltech e2e admission webhook クラスタ

スライド概要

Ltech#20 Kubernetesを用いたアプリケーション実行基盤の取り組み

定期的なKubernetesクラスタバージョンアップを安全に実現するために取り組んだ内容をお話します。

Kubernetesクラスタ構築とE2Eテストの自動化を行い、Admission Webhookを利用し後方互換を保ちながらバージョンアップをした事例などクラスタ運用戦略を交えてご紹介します。

スピーカー：川合拓央

株式会社LIFULL

@LIFULL

スライド一覧

LIFULL HOME'Sを運営する株式会社LIFULLのアカウントです。 LIFULLが主催するエンジニア向けイベント「Ltech」等で公開されたスライド等をこちらで共有しております。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 294.02kB)

関連スライド

pmconf2023【プロダクトマネジメントで高速PDCA】アウトカムが激増したLIFULL HOME’Sのグロース事例

プロダクトマネジメントプロダクトマネージャー lifull

株式会社LIFULL 20.8K

CloudWatch LogsからGrafana Lokiにログ基盤を移行

lifull aws grafana ログ

株式会社LIFULL 14.3K

HNSWの内部構造

lifull hnsw search

株式会社LIFULL 11.2K

LIFULL HOME'SでのSolrの構成と運用の変遷

lifull lifull home's engineering

株式会社LIFULL 10.4K

PrometheusとGrafanaで追求する、より良いアプリケーションの可観測性

lifull grafana ログ kuberentes

株式会社LIFULL 9.9K

趣味と仕事の違い、現場で求められるアプリケーションの可観測性

技育祭エンジニア engineering programming プログラミング

株式会社LIFULL 9.6K

各ページのテキスト

https://lifull.connpass.com/event/232727/

Kubernetesクラスタバージョンアップを支える技術 LIFULLのクラスタ運用方針 LB 0 100 アプリケーション特徴・マルチテナンシー v1.19 v1.21 ・ステートレスなアプリケーション・多重起動を許容する冪等性をもったjob ・initial-loadを実装したアプリケーション Cluster Migration InPlaceアップグレードは切り戻しの複雑さが増すのと検証のしにくさから行わない Copyright© LIFULL All Rights Reserved. weigthed recordによるクラスタへのルーティングによって移行を実現する

[beta]

Kubernetesクラスタバージョンアップを支える技術

クラスタ構築の

export AUTOMATION_DOCUMENT_NAME=$(aws cloudformation describe-stacks
--stack-name $STACK_NAME --region $AWS_REGION --query

自動化

'Stacks[].Outputs[?OutputKey==`DocumentName`].OutputValue' --output text)

[ "$(aws sts get-caller-identity | jq -r .Account)" = "$ACCOUNT_ID" ] && \
aws ssm start-automation-execution \
--document-name ${AUTOMATION_DOCUMENT_NAME} \

目指したのは手作業の排除

--parameters \
"AccountId=${ACCOUNT_ID}, \
AwsRegion=${AWS_REGION}, \
DnsZone=${DNS_ZONE}, \

例えば新メンバーがチームに参加し知

MasterZones=${MASTER_ZONES}, \
MasterSize=${MASTER_SIZE}, \

識の差があったとしてもクラスタ構築が

MaxNode=${MAX_NODE}, \
MinNode=${MIN_NODE}, \

完了する

NodeSize=${NODE_SIZE}, \
MaxSpotNode=${MAX_SPOT_NODE}, \
MinSpotNode=${MIN_SPOT_NODE}, \
SpotNodeSizes='${SPOT_NODE_SIZES}', \
...

Copyright© LIFULL All Rights Reserved.

Kubernetesクラスタバージョンアップを支える技術クラスタの動作確認・Auditlogが記録されていることを検証・Cluster Autoscalerが稼働することを検証・GracefulShutdownが動作することを検証・Istio Ingressgatewayが疎通しクラスタ外からアクセス可能なことを検証・Prometheusのすべてのscrapeターゲットがscrape可能であることを検証・SpinnakerのすべてのPipelineが実行に成功していることを検証他にも多数 Copyright© LIFULL All Rights Reserved.

Kubernetesクラスタバージョンアップを支える技術 E2Eテストで動作確認の自動化 1. 前述の確認項目についてのテストケースを実装しSonobuoyのPluginとして実行 2. Conformanceテストの実行過去にVPC DHCP Options Setの設定差分によってexternalTrafficPolicy: localの挙動が環境によって異なる現象に遭遇した。設定に依存する不具合を検知する目的で実行する Copyright© LIFULL All Rights Reserved.

Kubernetesクラスタバージョンアップを支える技術 E2Eテストで検知したバージョンアップ時の問題 kOpsバージョンアップに伴いaws-iam-authenticatorが機能しなくなったのを検知 KubeApiServerのmount pathを変更した影響 Readiness Probeが失敗するようになったアプリケーションの検知 Istio1.10によりeth0からloへの転送がされなくなった影響 Conformanceテストの結果からHPAが動作しないことを検知 Deprecated API対応の変更忘れによりmetrics-serverの起動に失敗した影響 Copyright© LIFULL All Rights Reserved.

Kubernetesクラスタバージョンアップを支える技術 Admission Webhook Istioバージョンアップ当時稼働していたIstioはv1.5.10 v2 xDS APIはv1.8以降で利用できない v1.7はv2/v3の両方をサポート EnvoyFilter v2 xDS EnvoyFilter v3 xDS EnvoyFilter v3 xDS EnvoyFilter v2 xDS Istio 1.5.10 Copyright© LIFULL All Rights Reserved. Istio 1.7

10.

Kubernetesクラスタバージョンアップを支える技術 Admission Webhook Istioバージョンアップ Istio v1.5.10 から Istio v1.10.2まで一気にアップデートを行った API HTTP handler Authentication Authorization Mutating Admission EnvoyFilter v2 xDS Webhook Copyright© LIFULL All Rights Reserved. EnvoyFilter v3 xDS

11.

12.

13.