使用 [EKS] [Terraform] 和 external-dns 在配置文件中进行记录注册
这是什么？
只需要在配置文件中编写想要注册的记录，使用external-dns会自动将记录与Ingress的URL进行关联，并将记录注册到Route53。
我使用了Terraform来实现在AWS上进行配置的部分。我在很大程度上参考了先人留下的文章，可能是一种再创作的内容，但我也整理了一些与先人们不同的实现部分。
构成
我认为许多示例都使用了Service中的external-dns，但在本例中，我们使用了它来处理Ingress。
Terraform所需准备之物
使用kubectl_manifest资源在TF内定义了k8s资源。如果要使用WAF、安全组和ACM等，将其作为变量传递应该能简化构建过程。但是，这里唯一的困难是k8s和TF工作的边界变得有些模糊…
eks.tf 可以被简化为：
云原生技术（EKS）.tf
resource "kubectl_manifest" "ingress_yaml" {
yaml_body = <<-EOF
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
namespace: default
name: ${var.env}-ingress
annotations:
kubernetes.io/ingress.class: alb
alb.ingress.kubernetes.io/scheme: internet-facing
alb.ingress.kubernetes.io/target-type: instance
alb.ingress.kubernetes.io/wafv2-acl-arn: ${data.terraform_remote_state.waf_acmのoutputs} // WAF-ARN
alb.ingress.kubernetes.io/security-groups: ${aws_security_group.ingressのsg.id} // SG-ARN
alb.ingress.kubernetes.io/listen-ports: '[{"HTTP": 80}, {"HTTPS":443}]'
alb.ingress.kubernetes.io/certificate-arn: ACMのARN
alb.ingress.kubernetes.io/ssl-redirect: "443"
external-dns.alpha.kubernetes.io/hostname: "${var.env}-domain name" // 使用したいレコードの名前
spec:
rules:
- host: ${var.env}-domain name // 使用したいレコードの名前
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: service
port:
number: 80
EOF
}
// remote_stateを使っている場合、以下の記載も必要
data "terraform_remote_state" "waf_acm" {
backend = "s3"
config = {
bucket = "バケット名"
key = "tfstateの名前"
region = "リージョン"
}
}
.tfvars是一个文件扩展名。
另外，在tfvars文件中我已经定义了以下变量。这将根据环境自动命名，所以我在上面使用了${var.env}进行分隔。
env = "環境名"
外部_dns.tf
resource "kubernetes_service_account" "external_dns" {
metadata {
name = "external-dns"
namespace = "default"
annotations = {
"eks.amazonaws.com/role-arn" : "${aws_iam_role.external_dns_role.arn}"
}
}
}
resource "kubernetes_cluster_role" "external_dns" {
metadata {
name = "${var.env}-external-dns"
}
rule {
api_groups = [""]
resources = ["services", "endpoints", "pods"]
verbs = ["get", "watch", "list"]
}
rule {
api_groups = ["extensions", "networking.k8s.io"]
resources = ["ingresses"]
verbs = ["get", "watch", "list"]
}
rule {
api_groups = [""]
resources = ["nodes"]
verbs = ["list", "watch"]
}
}
resource "kubernetes_cluster_role_binding" "external_dns_viewer" {
metadata {
name = "${var.env}-external-dns-viewer"
}
role_ref {
api_group = "rbac.authorization.k8s.io"
kind = "ClusterRole"
name = kubernetes_cluster_role.external_dns.metadata[0].name
}
subject {
kind = "ServiceAccount"
name = kubernetes_service_account.external_dns.metadata[0].name
namespace = "default"
}
}
data "aws_iam_policy_document" "external_dns_assume_role_policy" {
statement {
actions = ["sts:AssumeRoleWithWebIdentity"]
effect = "Allow"
condition {
test = "StringEquals"
variable = "${replace(module.cluster.oidc_provider, "https://", "")}:sub"
values = ["system:serviceaccount:default:external-dns"]
}
principals {
identifiers = ["arn:aws:iam::${data.aws_caller_identity.current.account_id}:oidc-provider/${module.cluster.oidc_provider}"]
type = "Federated"
}
}
}
resource "aws_iam_role" "external_dns_role" {
name = "${var.env}-external-dns-role"
assume_role_policy = data.aws_iam_policy_document.external_dns_assume_role_policy.json
}
resource "aws_iam_role_policy_attachment" "external_dns_policy_attachment" {
policy_arn = aws_iam_policy.external_dns_policy.arn
role = aws_iam_role.external_dns_role.name
}
resource "aws_iam_policy" "external_dns_policy" {
name = "${var.env}-external-dns-policy"
policy = file("external_dns.jsonのPATH")
}
我正在创建IAM策略并将其附加到角色上。我将策略的JSON文件与其他文件分开。我为角色添加了环境名称，并将其与服务账号关联。
外部_dns.json
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"route53:ChangeResourceRecordSets"
],
"Resource": [
"arn:aws:route53:::hostedzone/*"
]
},
{
"Effect": "Allow",
"Action": [
"route53:ListHostedZones",
"route53:ListResourceRecordSets"
],
"Resource": [
"*"
]
}
]
}
在Kubernetes一侧准备的东西
外部_dns.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: external-dns
spec:
strategy:
type: Recreate
selector:
matchLabels:
app: external-dns
template:
metadata:
labels:
app: external-dns
spec:
serviceAccountName: external-dns
containers:
- name: external-dns
image: k8s.gcr.io/external-dns/external-dns:v0.10.2
args:
- --source=ingress
- --domain-filter=ホストゾーンの名前 # will make ExternalDNS see only the hosted zones matching provided domain, omit to process all available hosted zones
- --provider=aws
- --policy=upsert-only # would prevent ExternalDNS from deleting any records, omit to enable full synchronization
- --aws-zone-type=public
- --registry=txt
- --txt-owner-id=ホストゾーンのID
securityContext:
fsGroup: 65534 # For ExternalDNS to be able to read Kubernetes and AWS token files
我們在這裡提供了在TF中創建的服務帳戶的名稱。
适用顺序: 应用的次序
基于本次设计的构造，感觉稍微有点麻烦，但还是写下来吧。
1. 进行 Terraform 应用
部署 external-dns.yaml。
3.删除 Ingress 并重新部署。
如果external-dns生成了这样的日志，并且在Route53上成功注册了记录。
kubectl logs "external-dns Podの名前" -f
~中略~
time="hogehoge" level=info msg="Applying provider record filter for domains: [”ホストゾーンの名前"]"
time="hogehoge" level=info msg="Desired change: CREATE "使用したいレコードの名前" A [Id: /hostedzone/"ホストゾーンのID"]"
time="hogehoge" level=info msg="Desired change: CREATE "使用したいレコードの名前" TXT [Id: /hostedzone/"ホストゾーンのID"]"
time="hogehoge" level=info msg="2 record(s) in zone ”ホストゾーンの名前". [Id: /hostedzone/"ホストゾーンのID"] were successfully updated"
curl https://"使用したいレコードの名前
で期待通りの反応が返ってくるか確認
考试前准备工作
我会记录遇到的错误和解决方法。
external-dns Pod一直無法正常啟動，一直重複執行重新啟動的動作。
kubectl get pod | grep dns
external-dns-hogehoge 0/1 CrashLoopBackOff 38 3h32m
kubectl logs external-dns-hogehoge -f
~中略~
time="hogehoge" level=fatal msg="failed to sync *v1.Ingress: context deadline exceeded"
参考了以下内容后，我认为服务帐户和ClusterRoleBinding存在问题。
以下是对两个网址的原文的中文释义：
1. https://github.com/kubernetes-sigs/external-dns/issues/2407：
外部DNS GitHub问题页面的编号为2407。
2. https://stackoverflow.com/questions/71407994/kubernetes-error-context-deadline-exceeded：
Kubernetes错误报告中的错误代码为”context deadline exceeded”。
因此，我已经修复并确认了两者都在同一个命名空间中。
resource "kubernetes_service_account" "external_dns" {
metadata {
name = "external-dns"
namespace = "default" // ココ
annotations = {
"eks.amazonaws.com/role-arn" : "${aws_iam_role.external_dns_role.arn}"
}
}
}
resource "kubernetes_cluster_role_binding" "external_dns_viewer" {
metadata {
name = "${var.env}-external-dns-viewer"
}
role_ref {
api_group = "rbac.authorization.k8s.io"
kind = "ClusterRole"
name = kubernetes_cluster_role.external_dns.metadata[0].name
}
subject {
kind = "ServiceAccount"
name = kubernetes_service_account.external_dns.metadata[0].name
namespace = "default" // ココ
}
}
由于使用了–domain-filter参数而不是使用主机区域名称，我们对其进行了修正，使用了要使用的记录名称。
apiVersion: apps/v1
kind: Deployment
metadata:
name: external-dns
spec:
strategy:
type: Recreate
selector:
matchLabels:
app: external-dns
template:
metadata:
labels:
app: external-dns
spec:
serviceAccountName: external-dns
containers:
- name: external-dns
image: k8s.gcr.io/external-dns/external-dns:v0.10.2
args:
- --source=ingress
- --domain-filter=ホストゾーンの名前 // ココ
- --provider=aws
- --policy=upsert-only
- --aws-zone-type=public
- --registry=txt
- --txt-owner-id=ホストゾーンのID
securityContext:
fsGroup: 65534
然后问题得以解决。
参考
以下内容的中文本地化表述
・https://aws.amazon.com/jp/premiumsupport/knowledge-center/eks-set-up-externaldns/
・https://github.com/kubernetes-sigs/external-dns
・https://qiita.com/guile/items/d41399f579d1a62634c0
・https://developer.mamezou-tech.com/containers/k8s/tutorial/ingress/external-dns/
・https://tech.polyconseil.fr/external-dns-helm-terraform.html
・https://febc-yamamoto.hatenablog.jp/entry/2018/12/28/172830
・Internal expert on the subject.
我已经参考了您给我的意见。非常感谢。
