json: add json_build() support for env block serialization

Merge pull request #29530 from poettering/debug-log-tweaks

pid1: various debug logging tweaks

doc: readd vanished ```

This disappeared in 1e8f5f79e1b6ae2b4115df280c626b71c54a5bb6, let's
restore it.

killall: suppress debug log if some cgroup doesn't have survive_final_kill_signal xattr set

This is the default case, hence really no reason to be noisy about that.

bpf-lsm: suppress noisy debug log message if we remove a unit from the bpf-lsm table where it was never added

There's really no point in logging about one of the most common cases we
have: that no BPF-LSM policy was installed for a specific unit.

fdset: improve debug logging for left-over fds

Let's show which fds are closed as part of the left-over fd set logic on
daemon reload/reexec cycles.

This is useful to debug accidentally unclaimed fds.

docs: clarify difference between kernel stub and sd-stub in UEFI doc

limits-util: suppress noisy debug message when reading tasks in top-level cgroup

We have the "tasks.max" cgroup attribute only if we run in a cgroup
namespace, but not on the host. Hence let's handle ENODATA silently
simply to reduce the debug noise generated.

Merge pull request #29427 from ddstreet/cryptenroll_specify_handle_index

Cryptenroll specify handle index

sd-gpt: add defines for big-endian MIPS/MIPS64

According to the respective change in the DPS:
<https://github.com/uapi-group/specifications/pull/86>

Signed-off-by: Roland Hieber <rhi@pengutronix.de>

namespace: make setup_namespace() less crazy

Let's replace the ridiculous number of arguments with a structure, to
make this function less weird.

No change in behaviour, just some refactoring.

docs: document that in future we'll do EV_EVENT_TAG only, no EV_IPL

loginctl: *-status: set minimum table column width if extra info will be printed

Follow-up for bf366954fa09070f6c3e1e630f57d20463fc5739

Before this commit, we hardcode "prefix" to the widest field
possible in the table. However, there's no guarantee that the
field would actually be used/added, so it could potentially
result in misalignment. Therefore, let's set the minimum width
of the cell to the hardcoded width too.

networkctl: use proper vertical table for status

Also modernize macro definition and error handling.

tpm2: don't use GetCapability() to check transient handles

The kernel tpm "resource manager" interface doesn't report that any transient
handles exist, even if they do, so don't bother asking if the handle is
transient.

man: fix example for systemd.swap-extra

dissect: don't show non-JSON arch + sector size in JSON mode

doc-sync: add support for uploading the documentation for main

It will refuse running on any other branch than main or stable branches.

Also update the release instructions to run it on the stable branch.

man/systemd.exec: document behavior of SetLoginEnvironment= when unset

Follow-up for 854eca4a95993bb1bd77a18de39efe1ed1a44bbd

Addresses https://github.com/systemd/systemd/pull/29493#discussion_r1351980046

tpm2: do not call Esys_TR_Close()

Unfortunately, the tpm2-tss library doesn't reference count handles, and a call
to Esys_TR_Close() will remove the handle that could be in use by other
code. So stop calling Esys_TR_Close(), and leave the handle around until we
cleanup the entire ESYS_CONTEXT.

test: add tests for systemd-cryptenroll --tpm2-seal-key-handle

In TEST-70-TPM2, test systemd-cryptenroll --tpm2-seal-key-handle using the
default (0) as well as the SRK handle (0x81000001), and test using a non-SRK
handle index after creating and persisting a primary key.

In test/test-tpm2, test tpm2_seal() and tpm2_unseal() using default (0), the SRK
handle, and a transient handle.

cryptenroll: allow specifying handle index of key to use for sealing

This defaults to the SRK index.

Merge pull request #29493 from YHNdnzj/unit-always-set-user-home

core/execute: always set $USER and introduce SetLoginEnvironment=

Merge pull request #29507 from abderrahim/doc-sync-improvement

Improvements to the doc-sync target

Merge pull request #28699 from bluca/dtb_addon

stub: add support for dtb addons

Update TODO

boot: measure loader.conf in PCR5

Results in:

- EventNum: 26
  PCRIndex: 5
  EventType: EV_EVENT_TAG
  DigestCount: 4
  Digests:
  - AlgorithmId: sha1
    Digest: 155fb999ca61ba8c7b1f1d87cee821f772ef084a
  - AlgorithmId: sha256
    Digest: 4c26adf231603613afc00bb3d5cad046aec6a525ca01262417c7085caab452b5
  - AlgorithmId: sha384
    Digest: 3e0758cb6605ac274e55d747bf29ee3474fc4413cd5e7a451d1375219cd7f08a30fc915a8df7131657ca78b82b9ccec8
  - AlgorithmId: sha512
    Digest: e32d905b9092c543802f386db9a397d9b6593bdb8360fb747a6d23e491a09595fec8699184cc790d0873a3d52ed16d045538f0c73ece48278fae0fb6ed9b4ed6
  EventSize: 32
  Event: 2a58bcf5180000006c006f0061006400650072002e0063006f006e0066000000

stub: measure all cmdline addons together

stub: add support for dtb addons

Same as kernel command line addons.

Move CLEANUP_ARRAY to src/fundamental

efi: add xmemdup

efi: add EFI_TCG2_TAGGED_EVENT and helpers

mkosi: use different configs for Debian kernel package list

The kernel package is named after the architecture, so builds will
fail if mkosi --architecture arm64 is used

test: make the DDI tests work with older openssl

Older openssl unfortunately insists on having a config file with certain
fields, so let's reuse the one we already create in previous tests.

Should address following error on C8S:

[  407.812039] testsuite-50.sh[654]: + openssl req -config /dev/null -subj=/CN=waldo -x509 -sha256 -nodes -days 365 -newkey rsa:4096 -keyout /tmp/test-50-privkey.key -out /tmp/test-50-cert.crt
[  407.849089] testsuite-50.sh[2325]: Generating a RSA private key
[  408.947853] testsuite-50.sh[2325]: ..................................++++
[  423.100903] testsuite-50.sh[2325]: ..........++++
[  423.111036] testsuite-50.sh[2325]: writing new private key to '/tmp/test-50-privkey.key'
[  423.115036] testsuite-50.sh[2325]: -----
[  423.117842] testsuite-50.sh[2325]: unable to find 'distinguished_name' in config
[  423.120863] testsuite-50.sh[2325]: problems making Certificate Request
[  423.123448] testsuite-50.sh[2325]: 140737354091984:error:0E06D06C:configuration file routines:NCONF_get_string:no value:crypto/conf/conf_lib.c:273:group=req name=distinguished_name

Follow-up to 99d9edf0bde.

dissect: avoid clobbering device-mapper error when activating verity

The device-mapper driver can return a wild variety of errors when trying
to activate the same dm-verity volume concurrently, as it might happen
with an image. There is a fallback logic in place, but the original
return code was clobbered when userspace signature check was added.
Add it back.

Follow-up for c2fa92e7e8907d9

doc-sync: automatically detect whether we're updating the latest version

also update the release instructions to push release candidates to -stable

doc-sync: add man/ to the passed directory

This mirrors the behaviour before multiple version support

core/execute: always set $USER and introduce SetLoginEnvironment=

Before this commit, $USER, $HOME, $LOGNAME and $SHELL are only
set when User= is set for the unit. For system service, this
results in different behaviors depending on whether User=root is set.

$USER always makes sense on its own, so let's set it unconditionally.
Ideally $HOME should be set too, but it causes trouble when e.g. getty
passes '-p' to login(1), which then doesn't override $HOME. $LOGNAME and
$SHELL are more like "login environments", and are generally not
suitable for system services. Therefore, a new option SetLoginEnvironment=
is also added to control the latter three variables.

Fixes #23438

Replaces #8227

core/execute: modernize get_fixed_{user,group}

No functional change, preparation for later commit.

core/execute: use FOREACH_ARRAY in one more place

man: support multiple versions of the documentation on the website

This changes the doc-sync meson target from a simple rsync command to a
script that:

* puts the documentation in a subdirectory according to the version
* injects a bit of javascript to add a drop-down to switch between versions
* updates an index.json file with the newly uploaded version
* keeps the latest/ directory up to date with the latest version
* supports a --no-latest switch to be used when uploading older versions

Merge pull request #29495 from yuwata/network-manager-state-file

network: fixlets for manager state file

Merge pull request #29490 from yuwata/network-tc-fixes

network: several fixes for traffic control support

add udev rule for micmute (f20)

test-network: add test for DHCPv6 information requesting mode

For issue #28566.

network/dhcp6: keep lease when running in information request mode

Fixes #28566.

network/dhcp6: shorten dhcp6_handler()

Note, currently dhcp6_lease_information_acquired() do nothing, so this
does not change any behavior.

test-network: test for NTP servers by DHCPv6 protocol

For issue #29148.

network: also save NTP servers and friends obtained by other protocols

Previously, only servers that statically configursd or obtained by
DHCPv4 protocol are saved in the manager state file.

NTP servers obtained by DHCPv6 could not be used by timesyncd.

Fixes #29148.

po: add a false positive to POTFILES.skip

Scripts used to detect files that should be in POTFILES.in, like
intltool-update -m used on https://l10n.gnome.org/module/systemd/,
falsely detect this file as containing translations. Avoid this
behavior by putting the file in POTFILES.skip.

core: refactor compare_job_priority()

Let's move it out of cgroup.[ch]. The function primarily compares the
priority values for units, hence let's move the core of it into a new
function unit_compare_priority() in unit.[ch], and then make
compare_job_priority() a local wrapper for it in manager.[ch]

Shorten the code a bit while we are at it.

Merge pull request #29482 from poettering/cgroup-func-rename

core: various clean-ups in cgroup.[ch] and around

test-network: extend testcase for tbf

For issue #29485.

network/tc: support Parent=X:0 for qdiscs

When the minor part of the parent handle is zero, let's check if the
corresponding qdisc exists, rather than tc class.

network/tc: allow to configure class or qdisc under foreign one

Some qdiscs (e.g. tbf) implicitly create class(es) on create.
Previously, we could not create any child qdisc under the class, as the
implicit class is tagged as foreign.

network/tc: re-enumerate traffic control classes when a qdisc created

Some kind of qdisc implicitly creates a class for the qdisc, but the
created class is not notified by the kernel. So, we need to explicitly
enumerate classes after a qdisc is created.

network/tc: fix enumeration logic of traffic control classes

TC class can be enumerated only per link.

network/tc: drop child tree of traffic control nodes on remove

When a node of traffic control tree is removed, all child nodes are also
removed but their removal are not notified by the kernel.
So, previously, removed TC classes or qdiscs under the removed node were
kept in the memory of networkd, and may cause failure on reconfigure.

network/tc: align vtables

Merge pull request #29491 from yuwata/varlink-follow-ups

varlink: several follow-ups

tree-wide: add missing sigbus handling

tree-wide: use path_simplify_alloc() more

varlink: drop unnecessary condition

When 'exec' is true, 'c' is always non-NULL.

Fixes CID#1522384.

varlink: fix typo

Follow-ups for #29325.

Merge pull request #29475 from keszybz/remove-wrapper-functions

Remove unnecessary wrapper functions

Merge pull request #29440 from evelikov/more-auto-entries

sd-boot: add auto-reboot and auto-poweroff entries

cgroup: rename cgroup_modify_nft_set() → unit_modify_nft_set()

This is the only function that cgroup.h exports that is prefixed with
cgroup_ where this does not refer to some type such as CGroupContext or
CGroupTasksMax or so. It simply operates on a unit. And it doesn't even
modify a cgroup, but just modifies an nft set.

Hence, to make the naming scheme systematic, change prefix from cgroup_
to unit_, matching the majority of the functions that operate on Unit*
in the file.

cgroup: un-export two functions

cgroup: refactor cgroup_xattr_apply()

Split the function up, so that each set of xattrs is applied separately.

cgroup: drop cgroup path parameter from xattr calls

We only pass the same thing there: u->cgroup_path or NULL (which is
ultimately the same as u->cgroup_path). Hence let's simplify things, and
simply drop the whole parameter, and imply u->cgroup_pat.

cgroup: rename cgroup_add_* to cgroup_context_*

They add settings to a CGroupContext, hence give them the expected
context, to make clear they do not operate on anything else than the
structure (i.e. not on a kernel cgroup or so).

cgroup: rename TasksMax structure to CGroupTasksMax

Almost all our enums/structs/funcs carry the CGroup prefix if they are
defined in cgroup.h, TasksMax so far does not, even though it is
exclusively used in cgroup context.

Change that.

sd-boot: add auto-reboot and auto-poweroff entries

Currently only an auto-reboot-to-firmware entry is available. For other
features - like reboot and power off - one needs to press the uppercase
B and O respectively.

Embedded devices may be missing a full fledged keyboard, so allow for
sd-boot to generate those entries.

v2:
 - add to the config parser/man/bootctl/sd-boot info screen
 - keep them off by default
 - add the (O)ff and re(B)oot help text if boot entries are not shown
 - drop irrelevant get_os_indications_supported() comment
 - s/ShutDown/Shutdown/

v3:
 - cast shutdown_system() reboot_system() to void

v4:
 - shutdown -> poweroff
 - add trailing ",ignoring" in parser message
 - drop explicit default state assignment to "false"

Signed-off-by: Emil Velikov <emil.velikov@collabora.com>

sd-boot: sprinkle some ", ignoring" trailing messages

As mentioned by Lennart:

  ... we typically suffix such messages with ", ignoring", to indicate
  that we don't consider this fatal for anything.

Update config_defaults_load_from_file() to follow that pattern.

Signed-off-by: Emil Velikov <emil.velikov@collabora.com>

sd-boot: remove unneeded false assignment

When the assignment is missing, the default 0/NULL/false value is used.
So drop the explicit piece in config_load_defaults()

Signed-off-by: Emil Velikov <emil.velikov@collabora.com>

sd-boot: cast away reboot_into_firmware() return type

As mentioned by Lennart, in a commit where I was adding similar piece of
code:

  maybe cast this call to void, to tell static analyzers that we are
  ignoring the return value on purpose, not by accident

Signed-off-by: Emil Velikov <emil.velikov@collabora.com>

basic/macro: add comment explaining DEFINE_TRIVIAL_DESTRUCTOR()

fuzz-bus-match: drop unnecessary wrapper function

Same confusion as in previous commit.

nspawn: drop unnecessary wrapper functions

The naming was confused: suffix 'p' means that the function takes a pointer to
the type that the wrapped function takes. (E.g., a char**, for a wrapped function
taking a char*.)  But DEFINE_TRIVIAL_DESTRUCTOR() just changes the return type.

Also add one more assert for consistency.

core: improve debug logs when failing to create symlinks in namespaces

I am seeing some failures and I don't know what is failing and why even
with debug logs, so add more details

Merge pull request #29325 from poettering/varlink-introspect

varlink: add introspection support + varlinkctl + varlinkify one first command line tool (systemd-pcrextend)

Merge pull request #29470 from yuwata/network-test-mode

network: introduce test mode

update TODO

test: extend some existing tests with varlinkctl lines, to test varlinkctl + new PCRExtend service

pcrextend: make pcrextend tool acccessible via varlink

This is primarily supposed to be a 1st step with varlinkifying our
various command line tools, and excercise in how this might look like
across our codebase one day. However, at AllSystemsGo! 2023 it was
requested that we provide an API to do a PCR measurement along with a
matching event log record, and this provides that.

varlinkctl: add new varlinkctl tool

varlink: add varlink_invocation() call

This call checks if we are invoked in a socket-activation Varlink server
context. It's useful for commands that can be run from the command line
or as Varlink service and then either serve commands from the cmdline or
those from Varlink.

varlink: add new call varlink_server_loop_auto()

This is a helper call that runs the specified VarlinkServer object in an
event loop, and exits once no more connections exist.

This is useful for pure varlink servers (i.e. those which only server
varlink requests and do nothing else), to run as long as there's
something to do and exit right after.

varlink: add varlink_server_listen_auto() helper

This new helper will automatically take listening fds passed in from the
service manager and processes varlink on them. It's useful for Varlink
services that shall be socket activatable.

varlink: add exit-on-idle logic for Varlink server

This adds a logic that if enabled ensures sd_event_exit() is called
whenever the varlink connection count hits zero.

This is useful for implementing pure Varlink services (i.e. services
whose only job is to serve Varlink requests), that shall run only as
long as needed, i.e. as long as at least one request is being served.

test: add test for varlink introspection logic

oomd: move SubscriptionTaken Varlink error out of generic Varlink code

This error is a private error returned by PID 1 to oomd. It's internal,
and very specific to the use-case. Hence it should not be part of the
org.varlink.service interface (which isn't really our namespace anyway).

Hence, let's clean this up and move it over to the ManagedOOM varlink
interface of PID, where it belongs.

Since this is a private protocol of our two daemons, and the client
(i.e. oomd) doesn't explicitly test for this error anyway we can just
move it over without ill effects.

tree-wide: make all our Varlink APIs introspectable

varlink: add varlink_connect_url() and varlink_connect_exec() calls

varlink: implement the org.varlink.service introspection interface by default + hook up validator

Fixes: #23874

varlink: add introspection data for the org.varlink.service and io.systemd interfaces

The official org.varlink.service interface definition, as per:

https://varlink.org/Service

And the io.systemd service where we carry some super generic errors our
Varlink implementation generates.

varlink: allow associating Varlink IDL information with a VarlinkServer

The data is not used for anything yet, but this will be added in later
commits.

varlink: add IDL/introspection logic

test-network: move get_dbus_dhcp_client_state() and friends to global

Merge pull request #29456 from yuwata/journal-replace-truncating-with-punching-holes

journal: replace truncating with punching holes