core: refactor compare_job_priority()

Let's move it out of cgroup.[ch]. The function primarily compares the
priority values for units, hence let's move the core of it into a new
function unit_compare_priority() in unit.[ch], and then make
compare_job_priority() a local wrapper for it in manager.[ch]

Shorten the code a bit while we are at it.

Merge pull request #29482 from poettering/cgroup-func-rename

core: various clean-ups in cgroup.[ch] and around

Merge pull request #29491 from yuwata/varlink-follow-ups

varlink: several follow-ups

tree-wide: add missing sigbus handling

tree-wide: use path_simplify_alloc() more

varlink: drop unnecessary condition

When 'exec' is true, 'c' is always non-NULL.

Fixes CID#1522384.

varlink: fix typo

Follow-ups for #29325.

Merge pull request #29475 from keszybz/remove-wrapper-functions

Remove unnecessary wrapper functions

Merge pull request #29440 from evelikov/more-auto-entries

sd-boot: add auto-reboot and auto-poweroff entries

cgroup: rename cgroup_modify_nft_set() → unit_modify_nft_set()

This is the only function that cgroup.h exports that is prefixed with
cgroup_ where this does not refer to some type such as CGroupContext or
CGroupTasksMax or so. It simply operates on a unit. And it doesn't even
modify a cgroup, but just modifies an nft set.

Hence, to make the naming scheme systematic, change prefix from cgroup_
to unit_, matching the majority of the functions that operate on Unit*
in the file.

cgroup: un-export two functions

cgroup: refactor cgroup_xattr_apply()

Split the function up, so that each set of xattrs is applied separately.

cgroup: drop cgroup path parameter from xattr calls

We only pass the same thing there: u->cgroup_path or NULL (which is
ultimately the same as u->cgroup_path). Hence let's simplify things, and
simply drop the whole parameter, and imply u->cgroup_pat.

cgroup: rename cgroup_add_* to cgroup_context_*

They add settings to a CGroupContext, hence give them the expected
context, to make clear they do not operate on anything else than the
structure (i.e. not on a kernel cgroup or so).

cgroup: rename TasksMax structure to CGroupTasksMax

Almost all our enums/structs/funcs carry the CGroup prefix if they are
defined in cgroup.h, TasksMax so far does not, even though it is
exclusively used in cgroup context.

Change that.

sd-boot: add auto-reboot and auto-poweroff entries

Currently only an auto-reboot-to-firmware entry is available. For other
features - like reboot and power off - one needs to press the uppercase
B and O respectively.

Embedded devices may be missing a full fledged keyboard, so allow for
sd-boot to generate those entries.

v2:
 - add to the config parser/man/bootctl/sd-boot info screen
 - keep them off by default
 - add the (O)ff and re(B)oot help text if boot entries are not shown
 - drop irrelevant get_os_indications_supported() comment
 - s/ShutDown/Shutdown/

v3:
 - cast shutdown_system() reboot_system() to void

v4:
 - shutdown -> poweroff
 - add trailing ",ignoring" in parser message
 - drop explicit default state assignment to "false"

Signed-off-by: Emil Velikov <emil.velikov@collabora.com>

sd-boot: sprinkle some ", ignoring" trailing messages

As mentioned by Lennart:

  ... we typically suffix such messages with ", ignoring", to indicate
  that we don't consider this fatal for anything.

Update config_defaults_load_from_file() to follow that pattern.

Signed-off-by: Emil Velikov <emil.velikov@collabora.com>

sd-boot: remove unneeded false assignment

When the assignment is missing, the default 0/NULL/false value is used.
So drop the explicit piece in config_load_defaults()

Signed-off-by: Emil Velikov <emil.velikov@collabora.com>

sd-boot: cast away reboot_into_firmware() return type

As mentioned by Lennart, in a commit where I was adding similar piece of
code:

  maybe cast this call to void, to tell static analyzers that we are
  ignoring the return value on purpose, not by accident

Signed-off-by: Emil Velikov <emil.velikov@collabora.com>

basic/macro: add comment explaining DEFINE_TRIVIAL_DESTRUCTOR()

fuzz-bus-match: drop unnecessary wrapper function

Same confusion as in previous commit.

nspawn: drop unnecessary wrapper functions

The naming was confused: suffix 'p' means that the function takes a pointer to
the type that the wrapped function takes. (E.g., a char**, for a wrapped function
taking a char*.)  But DEFINE_TRIVIAL_DESTRUCTOR() just changes the return type.

Also add one more assert for consistency.

core: improve debug logs when failing to create symlinks in namespaces

I am seeing some failures and I don't know what is failing and why even
with debug logs, so add more details

Merge pull request #29325 from poettering/varlink-introspect

varlink: add introspection support + varlinkctl + varlinkify one first command line tool (systemd-pcrextend)

Merge pull request #29470 from yuwata/network-test-mode

network: introduce test mode

update TODO

test: extend some existing tests with varlinkctl lines, to test varlinkctl + new PCRExtend service

pcrextend: make pcrextend tool acccessible via varlink

This is primarily supposed to be a 1st step with varlinkifying our
various command line tools, and excercise in how this might look like
across our codebase one day. However, at AllSystemsGo! 2023 it was
requested that we provide an API to do a PCR measurement along with a
matching event log record, and this provides that.

varlinkctl: add new varlinkctl tool

varlink: add varlink_invocation() call

This call checks if we are invoked in a socket-activation Varlink server
context. It's useful for commands that can be run from the command line
or as Varlink service and then either serve commands from the cmdline or
those from Varlink.

varlink: add new call varlink_server_loop_auto()

This is a helper call that runs the specified VarlinkServer object in an
event loop, and exits once no more connections exist.

This is useful for pure varlink servers (i.e. those which only server
varlink requests and do nothing else), to run as long as there's
something to do and exit right after.

varlink: add varlink_server_listen_auto() helper

This new helper will automatically take listening fds passed in from the
service manager and processes varlink on them. It's useful for Varlink
services that shall be socket activatable.

varlink: add exit-on-idle logic for Varlink server

This adds a logic that if enabled ensures sd_event_exit() is called
whenever the varlink connection count hits zero.

This is useful for implementing pure Varlink services (i.e. services
whose only job is to serve Varlink requests), that shall run only as
long as needed, i.e. as long as at least one request is being served.

test: add test for varlink introspection logic

oomd: move SubscriptionTaken Varlink error out of generic Varlink code

This error is a private error returned by PID 1 to oomd. It's internal,
and very specific to the use-case. Hence it should not be part of the
org.varlink.service interface (which isn't really our namespace anyway).

Hence, let's clean this up and move it over to the ManagedOOM varlink
interface of PID, where it belongs.

Since this is a private protocol of our two daemons, and the client
(i.e. oomd) doesn't explicitly test for this error anyway we can just
move it over without ill effects.

tree-wide: make all our Varlink APIs introspectable

varlink: add varlink_connect_url() and varlink_connect_exec() calls

varlink: implement the org.varlink.service introspection interface by default + hook up validator

Fixes: #23874

varlink: add introspection data for the org.varlink.service and io.systemd interfaces

The official org.varlink.service interface definition, as per:

https://varlink.org/Service

And the io.systemd service where we carry some super generic errors our
Varlink implementation generates.

varlink: allow associating Varlink IDL information with a VarlinkServer

The data is not used for anything yet, but this will be added in later
commits.

varlink: add IDL/introspection logic

test-network: move get_dbus_dhcp_client_state() and friends to global

Merge pull request #29456 from yuwata/journal-replace-truncating-with-punching-holes

journal: replace truncating with punching holes

Update HACKING instructions

Let's mention that we just need the latest stable release of mkosi,
not the latest git commit. We also split the instructions for building
on the host and the instructions for building with mkosi into two blocks,
as it's not required to build on the host anymore to build with mkosi.

Fix a typo in `systemctl-enable.c`

varlink: add new helper that reports whether connection is idle

This is useful to allow event loops to run exactly as long as there's
something to do but not longer.

alloc-util: add realloc0() helper than is like realloc() but zero-initializes appended space

fuzz: suppress log messages

libsystemd-network: introduce $SYSTEMD_NETWORK_TEST_MODE environment variable

Then, drop dhcp_client_set_test_mode() and friends.

journalctl: verify that old entries are not sealed with too recent key (#28885)

When verifying seals produced with forward secure sealing, the verification
currently does not check that old entries are only sealed with the key for
their epoch and not a more recent one. This missing check allows an attacker
to remove seals, and create new ones with the currently available key, and
verify will claim everything is in order, although all entries could have
been modified.

This resolves CVE-2023-31439.

Co-authored-by: Felix Dörre <felix.doerre@kit.edu>

backlight: support to specify percentage of minimum brightness

Closes #29328.

man: fix typo

Follow-up for a121b331e37682341152b51269cf8ce00e68d755.

core: fix typo

Merge pull request #29417 from yuwata/sd-journal-cleanups-for-generic-array-bisect-plus-one

sd-journal: cleanups for generic_array_bisect_plus_one()

sd-journal: make journal_file_next_entry() always return the nearest entry object

Previously, if the input offset 'p' does not point to an entry object,
the function returns the next of the nearest entry object on
DIRECTION_DOWN, as generic_array_bisect() already returns the nearest
entry object.

sd-journal: reduce number of calls generic_array_bisect_plus_one()

If the first call of generic_array_bisect_plus_one() provides the same
offset, then it is not necessary to call the next one, as we already
know the entry object is also liked to the input data object.

Also, this make the function reuse the object returned by
generic_array_bisect_plus_one().

No functional change, just optimization.

sd-journal: drop unnecessary re-read of data object

Follow-up for ec50313d4e329de276240883d86d05168a4cf09f.

The function generic_array_bisect_plus_one() does not read any new data
objects, so the data object is still valid, and not necessary to re-read it.

sd-journal: rewrite conditions for test result and direction

No functional change, just refactoring. Hopefully the condition is more
descriptive now.

test: add reproducer for SIGBUS issue caused by journal truncation

The added code fails without the previous commit.

For issue #24320.

Merge pull request #29438 from evelikov/document-rm-extra-uefi-vars

Document and purge LoaderConfigConsoleMode and LoaderEntryLastBooted

machinectl: align UID shift status field properly

image-discover: skip properly over files that cannot be recognized as image files

Follow-up for: #29364

Merge pull request #29364 from poettering/make-ddi-easy

repart: make building DDIs easier (and other fixes)

systemctl-show: align "Cntrl PID" correctly

repart: make arg_empty a proper enum with a string table

Now that we translate in both directions (from enum to string, and
string to enum) let's just make the thing a proper enum with a proper
string table, like we generally do.

test: test the new --make-ddi= logic

repart: add simple mechanism to override fstype choices

This is very useful for quickly testing things when building DDIs, in
particular in the CI, and trivial to add.

repart: relax rules on CopyFiles= a bit

If a source dir doesn't exist, mention this, but continue.

This is useful to permit generic definitions that apply to all kinds of
trees, where some parts might remain unpopulated.

repart: say image file instead of loopback file

After all we can now operate without loopback device, so it might be a
big misleading.

sysext: fix some sysextisms in confext mode

Nothing earth-shattering. Just make sure we never expose the string
"sysext" in "confext" mode.

discover-image: nicely support .sysext.raw + .confext.raw suffix for DDIs

Back at Plumbers 2022 we discussed that we should push people towards
using the .sysext.raw and .confext.raw for their DDIs if they are
extension images. Let's actually support that, by chopping off these
suffixes when turning file names into "pretty image names".

repart: make it easy to generate DDIs

This adds --make-ddi=confext, --make-ddi=sysext, --make-ddi=portable, to
make it really easiy to generate DDIs of the specified class. It
it's ultimately just a fancy wrapper around some defaults and in
particular --definitions=.

This makes it very easy to generate a confext:

 $ systemd-repart -C --private-key=privkey.pem --certificate=cert.crt -s mytree/ mytree.confext.raw

repart: add new --copy-source= switch

This specifies a directory to which CopyFiles= is considered relative.
If unset defaults to the --root=/--image= setting, or host / otherwise.

This is very similar to --root= but is much more focussed: it is really
and exclusively about CopyFiles= (and related settings such as
ExcludeFiles=) and does not affect any of the settings, i.e. it doesn't
affect CopyBlocks=, the machine ID/seed handling, or where definitions
are read from.

In fact, --root= and --copy-source= may be combined for example to
use the machine ID and similar from one tree, but the copy the files
from another.

repart: drop redundant ()

repart: get rid of redundant variable 'dry_run'

There's only one case where we set 'dry_run', which is when
--empty=create is set. Hence simplify things and directly check for
that.

repart: rework --empty= handling a bit

Introduce a new enum value EMPTY_UNSET to which arg_empty now is set
initially. Only after we finished parsing the command line we'll now set
this to EMPTY_REFUSE as before.

This prepares ground for later changes, where we then can make different
decisions after havig all input from the command line.

As of now this doesn't change behaviour of systemd-repart, it just
rearranges things a bit.

repart: disable pager in --dry-run=no mode

When --dry-run=yes is used it makes sense to spawn a pager to look at
the report it provides you with about what it is about to do. Hoewver,
when we are actually doing it, then the output is more in the category
of "logs" than "review material", and logs we generally don't page when
we generate them.

repart: don't wipe the disk image if we just created it fresh

Let's avoid some unnecessary work if we the image is freshly created
anyway.

fileio: revamp search_and_fopen()

Let's modernize and clean up search_and_fopen a bit: let's add support
for regular open() (instead of fopen()), as well as access() (if caller
just wants to check if a file exists without opening it.

This unifies much of the code involved, which previously was duplicated
in search_and_fopen() and search_and_fopen_nulstr()

Merge pull request #29455 from poettering/scope-pidref

pid1: allow creating scope units based on pidfds (as opposed to numeric pids)

docs/HACKING: Arch has dropped asp in favor of pkgctl

Prompted by #29461

See also: https://wiki.archlinux.org/title/Arch_build_system#Using_the_pkgctl_tool

update TODO

tree-wide: prefer sending pifds over pids when creating scope units

pidref: add trivial helper pidref_set_self() to set pidref to our handle to our own process

pid1: allow creating scope units based in pidfds instead of plain pids

mkosi: Update to latest

We have to set the image runtime size explicitly now so that's it's
grown a bit when we boot in nspawn or qemu.

mountpoint-util: Check hardcoded list before asking kernel if option is supported

mount_option_supported() will call fsopen() which will probe the
kernel filesystem module. This means that we'll suddenly start
probing filesystem modules when running generators as those determine
which mount options to use. To prevent generators from loading kernel
filesystem modules as much as possible, let's always first check the
hardcoded list of filesystem which we know support a feature before
falling back to asking the kernel.

Merge pull request #29454 from poettering/cg-pidref-get-path

cgroup-util: add cg_pidref_get_path() helper and use it

Merge pull request #29458 from poettering/serialize-pidref

pid1: serialize pidref as pidfd if possible

Merge pull request #29439 from yuwata/mmap-cache-cleanups-part2

mmap-cache: several cleanups (part2)

man: document LoaderEntryLastBooted

The option was introduced with systemd v250 although it went
undocumented. It effectively sits between Default and OneShot, in term
of priority.

It is repeatedly updated as long as loader.conf default is "@saved" and
the OneShot is not set.

v2:
 - squash some typos

v3:
 - special mention to default @saved + loader.conf reference
 - reword update side, to avoid misleading that it's needlessly
   overwritten

Signed-off-by: Emil Velikov <emil.velikov@collabora.com>

Merge pull request #29453 from poettering/cgroup-no-controller

cgroup-util: drop "controller" argument from various cgroup helper calls

update TODO

cgroup-util: add cg_pidref_get_path() helper and use it

Merge pull request #29442 from yuwata/network-dhcp4-preferred-address

network: introduce [DHCPv4] PreferredAddress= setting

update TODO

pid1: serialize pidrefs as pidfds if possible

One major step towards total pidfdification of systemd.

repart: Mention that xattrs are not copied when populating XFS with protofile

man: document LoaderConfigConsoleMode

The variable was introduced with systemd v250 although it went
completely undocumented, even though sd-boot will honour and print it
separately (from the loader.conf one) in the boot help screen.

Document it in the systemd-boot and hint about it in loader.conf manual
pages.

Signed-off-by: Emil Velikov <emil.velikov@collabora.com>

bootctl: remove all our non-volatile variables on uninstall

Grepping around showed a few extra entries that are not listed in the
remove_loader_variables() function. Namely:
 - BootNext
 - OsIndications
 - LoaderConfigConsoleMode
 - LoaderEntryLastBooted

Of which the latter two are systemd specific, even though they are
undocumented. Ensure they're removed - follow-up commits will add
documentation references.

Signed-off-by: Emil Velikov <emil.l.velikov@gmail.com>